您的位置:首页 > 软件教程 > 教程 > 日常Bug排查-连接突然全部关闭

日常Bug排查-连接突然全部关闭

来源:好特整理 | 时间:2024-05-13 09:48:01 | 阅读:199 |  标签: 全 Bug ug   | 分享到:

日常Bug排查-连接突然全部关闭 前言 日常Bug排查系列都是一些简单Bug的排查。笔者将在这里介绍一些排查Bug的简单技巧,同时顺便积累素材。 Bug现场 最近碰到一个问题,一台机器上的连接数在达到一定连接数(大概4.5W)连接数之后会突然急速下降到几百。在应用上的表现就是大量的连接报错,系统失去

日常Bug排查系列将介绍一些排查Bug的简单技巧,并积累相关素材。

最近遇到一个问题,一台机器上的连接数在达到一定数量(大约4.5W)后,突然急速下降到几百。这导致大量连接报错,系统失去响应。

笔者首先怀疑代码问题,但经过检查后发现使用的是成熟的框架,代码问题较小。接着怀疑是内核的限制,例如文件描述符到顶了之类,但这又有一个矛盾点。一旦是内核对连接数量限制的话,应该是连接数到达一定程度就涨不上去,而不是连接数跳水式下降。

进一步怀疑是某个间接资源的限制导致到达瓶颈后,所有的连接获取这个资源获取不到而导致全部报错。结合TCP连接消耗的资源无非就是CPU/内存/带宽。

有了上述思路,我们观察相关监控信息。CPU消耗很高,带宽利用率达到了50%,内存使用了大量的内存,但系统的资源消耗还称不上达到瓶颈。

当传统的监控已经不足以分析问题时,笔者使用了针对TCP问题最有效的统计命令,即netstat -s。在这条命令的输出中,发现了一个很不寻常的地方:TCP ran low on memory 19 times。这个输出和笔者对于内存限制的猜想完全对应起来了。

因为之前详细阅读过Linux TCP的源代码以及其所有的可调整的内核参数,所以对TCP的内存限制有映像。有了GPT之后,只需要知道一个大致的方向就好了,直接问GPT就给出了答案,就是tcp_mem这个参数。

在经过响应的内核调整之后,系统的连接数超过了5W之后依旧保持稳定。这时候我们观察相关的TCP消耗内存页的输出。

在此记录下对应的Linux内核栈。可以看到当allocated大于相关的内存limit之后Linux Kernel会将此TCP连接直接Drop。

笔者在了解清楚Bug现场之后,大概花了20分钟就定位到了是TCP内存瓶颈的问题,然后借助GPT非常快速的找到了相关解决方案。不得不说GPT能够大幅加速我们搜索的过程,笔者个人感觉可以在很大程度上替代搜索引擎。但喂给GPT的Prompt还是需要通过Bug现场以及一定的经验来构造,它代替不了你的思考,但能大幅加速信息的检索。

日常Bug排查-连接突然全部关闭

小编推荐阅读

好特网发布此文仅为传递信息,不代表好特网认同期限观点或证实其描述。

相关视频攻略

更多

扫二维码进入好特网手机版本!

扫二维码进入好特网微信公众号!

本站所有软件,都由网友上传,如有侵犯你的版权,请发邮件[email protected]

湘ICP备2022002427号-10 湘公网安备:43070202000427号© 2013~2024 haote.com 好特网