Linux 2.6.16 TCP 连接速度异常的问题分析

发现访问公司某些业务时,速度非常不稳定,并且整体慢于竞争对手。分析认为SESU10母盘上内核TCP拥塞控制算法和Windows的Ack频率控制的策略存在不兼容情况。

目前至少确认 2.6.16内核版本存在此问题,打TCP优化补丁或者更换Tlinux以后可以解决问题。

问题现象:

在体验网环境下测试:大文件下载的情况下,百度的下载速度平均在600KBPS,我们的下载速度平均低于100Kbps;互娱Webgame情况下,TNT业务下载速度大约是DDT的25%。

这里是一个典型的下载速度曲线:

我们的服务器的曲线:(纵轴单位:包/s)

百度的服务器下载的曲线:

重现该问题的测试环境:

网络: 公司体验网,普通联通4M ADSL

服务器:Linux64位服务器, 深圳机房。

服务器程序: Apache,nws(自研webserver)

客户端: Windows XP, Windows7,任意浏览器或者旋风(单线程下载)

测试工具:wireshark, httpwatch

测试连接:分别是自建CDN、百度下载、深圳DC+Apache

问题分析:

通过客户端抓包分析发现速度很慢的段有两个问题:

  1. 服务器端总是等到前面的数据包确认以后才发送第二个包
  2. Windows总是等到200ms左右才发送ACK确认。

对于Windows端的行为, 为了防止ACK过多导致网络压力,Ms TCP协议栈在每收到一个数据包时,启动一个200ms定时器,直到收到其他数据包或者定时器过期时才发送ACK包。

通过设置注册表选项 TcpAckFrequency 参数为1关闭 Ack delay以后,实验发现下载速度恢复正常,无法重现下载速度慢的问题。

To configure the max outstanding ACKs in Windows XP/2003/Vista/2008:

[HKEYLOCALMACHINE \SYSTEM \CurrentControlSet \Services \Tcpip \Parameters \Interfaces \{Adapter-id}]

TcpAckFrequency = 1 (Default=2, 1=Disables delayed ACK, 2-n = If n outstanding ACKs before timed interval, sent ACK)

因为无法强制用户通过修改注册表避免问题,并且竞争对手也没有看到类似问题,因此只能从linux端解决。

Linux这一端,首先怀疑和nagle算法有关系,在nws服务器上设置TCP_NODELAY以后仍然可以重现,可以排除Nagle算法的影响。 (实际上nws每次发送大数据包或者直接使用sendfile,不太会收到nagle算法影响) 其次Apache,nws都可以重现这个问题,比较怀疑操作系统本身有缺陷。

因为每次linux仅发送一个数据包,因此怀疑拥塞窗口的问题,推测问题如下:

初始情况下,客户端回复一个ACK时,拥塞窗口增大,每次发送多个数据包,因此刚开始可以有较快的传输速度;因为网络延时抖动或丢包导致服务器协议栈判定数据包超时,重置拥塞窗口为1,每次仅发送一个数据包,收到客户端200ms回包,时仍然认为超时,同时调整RTT;直到RTT增大到200ms不算超时为止,拥塞窗口得以扩大,可以发送多个数据包,传输速度增快,如此循环。

通过测试增大初始拥塞窗口为10 (更换内核加载架平新技术组的TCP优化模块实现),下载速度恢复正常。

附旋风测试选项:

参考

The TCPIP nagle algorithm can slow down network Design issues - Sending small data segments over TCP with Winsock

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏芋道源码1024

10 分钟不全面了解 Redis 5.0 新特性

来源:https://www.jianshu.com/p/fa989a228d59

1050
来自专栏木可大大

我的Mac应用清单

相信大家或多或少都会碰到这种问题:Mac到底有什么好的,同样或者更低的价钱,我可以买一个配置更好的Windows电脑了。首先,Mac系统是基于Unix系统的,因...

1281
来自专栏hotqin888的专栏

电子规范管理系统(2)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

1141
来自专栏信安之路

锁首技术总结

在公司实习也有一个月了,学到不少东西,不知不觉就要大四了,回首漫漫安全路,不禁感慨万千:我入安全的时间比较晚,大一大二跟着老师参加 Android 移动应用开发...

1062
来自专栏linux系统运维

负载均衡集群介绍,LVS介绍, LVS调度算法,LVS NAT模式搭建

1772
来自专栏Python中文社区

jupyter notebook 远程连接调试实录

最近使用了一下jupyter notebook搭配GPU服务器这套搭配,顿时打开了一个新天地,记录一下配置过程。

2313
来自专栏java 成神之路

常见黑客渗透测试工具

3893
来自专栏Java3y

网络层【第三篇】

路由信息协议 RIP (Routing Information Protocol) 是内部网关协议 IGP 中最先得到广泛使用的协议。

1201
来自专栏风中追风

分布式基础__聊聊TCP传输的滑动窗口协议的演进

写这篇文章前,我有些肺腑之言想感谢一下我的微信好友“风大”。 是他给了我信心,原来没有很难的技术,只要你肯努力总能赶上其他人。 后来关注他的博客后,发现他尽然觉...

37715
来自专栏Phoenix的Android之旅

Android8.0的广播-熟悉的陌生人

Android 8.0正式版上线到现在已经有一年了,很多厂商的2018年的机型上已经用上了这个系统。

892

扫码关注云+社区