• 首页 首页 icon
  • 工具库 工具库 icon
    • IP查询 IP查询 icon
  • 内容库 内容库 icon
    • 快讯库 快讯库 icon
    • 精品库 精品库 icon
    • 问答库 问答库 icon
  • 更多 更多 icon
    • 服务条款 服务条款 icon

记一次Kafka 故障Too many open files问题

武飞扬头像
如月峰水
帮助1

查看日志发现,有kafka日志报错提示:

学新通

查看limit.conf文件,发现文件打开数设置的值也没问题,尝试增大值后,但就是提示Too many open files,报错就是文件打开数过多。

学新通

经不懈的百度百度,发现如下图两条关键信息;

学新通

学新通

systemd 服务模块最大打开文件数默认为1024,查看其他没改动limit值且未发生故障的机器kafka进程limit最大值为4096,和系统单独的/ect/security/limit.conf设置的值100001没关系

学新通

20220906 13:01 十几次的kafka打开文件句柄数的值均在3590左右,大多没超过4096,故猜测之前62天没有报错过原因于此。

学新通

由此联想到我们kafka是通过systemd进行管理的,走的是系统默认最大的文件打开数是4096。

问题在kafka.service中添加LimitNOFILE=655360。生效并重启,问题解决;

  1.  
    vim /usr/lib/systemd/system/kafka.service
  2.  
    LimitNOFILE=655360
  3.  
     
  4.  
    systemctl daemon-reload
  5.  
    systemctl restart kafka.service

问题:目前仍未查到是哪个配置文件使系统默认值为4096,以及为systemd何不走limit.conf值。

这篇好文章是转载于:学新通技术网

  • 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
  • 本站站名: 学新通技术网
  • 本文地址: /boutique/detail/tanhghfeac
系列文章
更多 icon
同类精品
更多 icon
继续加载