连接1:192.168.1.101 5000 192.168.1.100 8090
连接2:192.168.1.101 5001 192.168.1.100 8090
连接N:192.168.1.101 ... 192.168.1.100 8090
连接6W:192.168.1.101 65000 192.168.1.100 8090
注意: limits中的hard limit不能超过nr_open, 所以要先改nr_open。而且最好是在sysctl.conf中改。避免重启的时候 hard limit生效了,nr_open不生效导致启动问题。
“socket中有一个主要的数据结构sock_common,在它里面有两个联合体。”
“其中skc_addrpair记录的是TCP连接里的IP对儿,skc_portpair记录的是端口对儿。”
“在网络包到达网卡之后,依次经历DMA、硬中断、软中断等处理,最后被送到socket的接收队列中了。”
“对于TCP协议来说,协议处理的入口函数是tcp_v4_rcv。我们看一下它的代码”
“先判断有没有连接状态的socket,这会走到__inet_lookup_established函数中”
“在INET_MATCH中将网络包tcp header中的__saddr、__daddr、__ports和Linux中的socket中inet_portpair、inet_daddr、inet_rcv_saddr进行对比。如果匹配socket就找到了。当然除了ip和端口,INET_MATCH还比较了其它一些东东,所以TCP还有五元组、七元组之类的说法。”
总结
客户端每建立一个连接就要消耗一个端口,所以很多同学当看到客户端机器上连接数一旦超过3W、5W就紧张的不行,总觉得机器要出问题了。
这篇文章的第一版也是很早就写出来了,不过飞哥又打磨了好长时间才算满意。在文中我们展示了一下 TCP socket的部分内核代码。通过源码来看:
TCP连接就是在客户机、服务器上的一对儿的socket。它们都在各自内核对象上记录了双方的ip对儿、端口对儿(也就是我们常说的四元组),通过这个在通信时找到对方。
TCP连接发送方在发送网络包的时候,会把这份信息复制到IP Header上。网络包带着这份信物穿过互联网,到达目的服务器。目的服务器内核会按照 IP 包 header 中携带的信物(四元组)去匹配找到正确的socket(连接)。
在这个过程里我们可以看到,客户端的端口只是这个四元组里的一元而已。哪怕两条连接用的是同一个端口号,只要客户端ip不一样,或者是服务器不一样都不影响内核正确寻找到对应的连接,而不会串线!
所以在客户端增加TCP最大并发能力有两个方法。第一个办法,为客户端配置多个ip。第二个办法,连接多个不同的server。
不过这两个办法最好不要混用。因为使用多 IP 时,客户端需要bind。一旦bind之后,内核建立连接的时候就不会选择用过的端口了。bind函数会改变内核选择端口的策略~~
最后我们亲手实验证明了客户端也可以突破百万的并发量级。相信读过此文的你,以后再也不用再惧怕65535这个数字了。
领取专属 10元无门槛券
私享最新 技术干货