Skip to end of metadata
Go to start of metadata


1. 主题

       zabbix server or proxy 导致大量DNS反向解析请求故障排查及分析。

2. 机器环境

Linux环境

3. 软件版本

软件

版本

Zabbix Proxy

5.0.9


4. 问题描述

客户DNS服务器接收到大量来自zabbix proxy的DNS反向解析请求,引发DNS服务器QPS增高,导致DNS服务产生大量反向解析的日志。

DNS反向解析请求:主要是通过IP向DNS服务器发送查询IP地址是否有域名的请求。

DNS服务器由日常的每秒30 QPS,达到了每秒200 QPS,虽然客户答复DNS服务器QPS极限请求在12万,但是大量的反向解析请求产生大量无用的日志,导致DNS服务器日志刷新很快,希望能得到解决。

(1)故障前DNS服务器抓包QPS:

(2)故障后DNS服务器抓包QPS:

 

(3)wireshark抓包结果:

 

5. 问题分析过程

经过检查与验证,Zabbix 在使用network discovery 功能时有一个选项主机名,会通过IP 进行DNS反向解析。通过IP查找域名,并用域名来命名主机名。

 

附:官网参考内容

Host naming

When adding hosts, a host name is the result of reverse DNS lookup or IP address if reverse lookup fails. Lookup is performed from the Zabbix server or Zabbix proxy, depending on which is doing the discovery. If lookup fails on the proxy, it is not retried on the server. If the host with such a name already exists, the next host would get _2 appended to the name, then _3 and so on.

官网文档参考地址:https://www.zabbix.com/documentation/5.0/manual/discovery/network_discovery 

 

附:解决测试过程

Zabbix web前端关闭 network discovery功能,并将zabbix server or proxy的StartDiscoverers 参数修改为0

客户反馈虽然DNS反向解析查询降低八分之七,但是发现zabbix proxy仍然发送反向解析的请求,在80 QPS。因为该问题会导致刷日志过快,客户希望能彻底关闭zabbix proxy反向解析请求。通过开casezabbix官方支持沟通,最终原厂也未给出明确答复还有哪些功能需要用到DNS反向解析。

关闭自动发现后的QPS:

 

6. 解决方法

注释掉所有zabbix proxy 服务器 /etc/resolv.conf 中的 nameserver 地址,故障排除。

7. 结论

最终跟原厂沟通也没答复除了自动发现,这个DNS反向解析还用在那些功能。这是碰到的第二起Zabbix因域名解析导致的问题。第一次是沃尔玛域名解析服务器响应慢,导致故障。建议以后大家尽量配置IP,非要配置域名或者主机名,建议能尽量在本地配置hosts的,就配置hosts

有时候客户的DNS服务器比较脆弱,大量的解析请求可能会对DNS服务器产生一定的影响。


#疑难解答&运维经验 模块内容来自于宏时数据内部运维经验、宏时数据zabbix铂金用户定制服务群及zabbix开源社区爱好者。有任何建议和疑问欢迎留言或发送邮件到 ZabbixAdmin@grandage.cn 批评指正。

现金奖励博文翻译、投稿等可微信扫码关注 Zabbix开源社区:

  • No labels