专栏首页PHP饭米粒漫画 | 理解了TCP连接的实现以后,客户端的并发也爆发了!

漫画 | 理解了TCP连接的实现以后,客户端的并发也爆发了!

漫画 | 一台Linux服务器最多能支撑多少个TCP连接?文章里有介绍服务器能支撑的连接数远不止65535,但客服端呢,是不是受限于此呢,本文给你解惑。

echo "5000 65000" > /proc/sys/net/ipv4/ip_local_port_range
  • 连接1:192.168.1.101 5000 192.168.1.100 8090
  • 连接2:192.168.1.101 5001 192.168.1.100 8090
  • 连接N:192.168.1.101 ... 192.168.1.100 8090
  • 连接6W:192.168.1.101 65000 192.168.1.100 8090
//修改整个系统能打开的文件描述符为20W
echo 200000 > /proc/sys/fs/file-max


//修改所有用户每个进程可打开文件描述符为20W
#vi /etc/sysctl.conf
fs.nr_open=210000
#sysctl -p
#vi /etc/security/limits.conf
*  soft  nofile  200000
*  hard  nofile  200000

注意: limits中的hard limit不能超过nr_open, 所以要先改nr_open。而且最好是在sysctl.conf中改。避免重启的时候 hard limit生效了,nr_open不生效导致启动问题。

“socket中有一个主要的数据结构sock_common,在它里面有两个联合体。”

// file: include/net/sock.h
struct sock_common {
 union {
  __addrpair skc_addrpair; //TCP连接IP对儿 
  struct {
   __be32 skc_daddr;
   __be32 skc_rcv_saddr;
  };
 }; 
 union {
  __portpair skc_portpair; //TCP连接端口对儿
  struct {
   __be16 skc_dport;
   __u16 skc_num;
  };
 };
 ......
}

“其中skc_addrpair记录的是TCP连接里的IP对儿,skc_portpair记录的是端口对儿。”

“在网络包到达网卡之后,依次经历DMA、硬中断、软中断等处理,最后被送到socket的接收队列中了。”

“对于TCP协议来说,协议处理的入口函数是tcp_v4_rcv。我们看一下它的代码”

// file: net/ipv4/tcp_ipv4.c
int tcp_v4_rcv(struct sk_buff *skb)
{
 ......
 th = tcp_hdr(skb); //获取tcp header
 iph = ip_hdr(skb); //获取ip header

 sk = __inet_lookup_skb(&tcp_hashinfo, skb, th->source, th->dest);
 ......
}
// file: include/net/inet_hashtables.h
static inline struct sock *__inet_lookup(struct net *net,
      struct inet_hashinfo *hashinfo,
      const __be32 saddr, const __be16 sport,
      const __be32 daddr, const __be16 dport,
      const int dif)
{
 u16 hnum = ntohs(dport);
 struct sock *sk = __inet_lookup_established(net, hashinfo,
    saddr, sport, daddr, hnum, dif);

 return sk ? : __inet_lookup_listener(net, hashinfo, saddr, sport,
          daddr, hnum, dif);
}

“先判断有没有连接状态的socket,这会走到__inet_lookup_established函数中”

struct sock *__inet_lookup_established(struct net *net,
      struct inet_hashinfo *hashinfo,
      const __be32 saddr, const __be16 sport,
      const __be32 daddr, const u16 hnum,
      const int dif)
{
 //将源端口、目的端口拼成一个32位int整数
 const __portpair ports = INET_COMBINED_PORTS(sport, hnum); 
 ......

 //内核用hash的方法加速socket的查找
 unsigned int hash = inet_ehashfn(net, daddr, hnum, saddr, sport); 
 unsigned int slot = hash & hashinfo->ehash_mask;
 struct inet_ehash_bucket *head = &hashinfo->ehash[slot];

begin:
 //遍历链表,逐个对比直到找到
 sk_nulls_for_each_rcu(sk, node, &head->chain) {
  if (sk->sk_hash != hash)
   continue;
  if (likely(INET_MATCH(sk, net, acookie,
          saddr, daddr, ports, dif))) {
   if (unlikely(!atomic_inc_not_zero(&sk->sk_refcnt)))
    goto begintw;
   if (unlikely(!INET_MATCH(sk, net, acookie,
       saddr, daddr, ports, dif))) {
    sock_put(sk);
    goto begin;
   }
   goto out;
  }
 }
}
// include/net/inet_hashtables.h
#define INET_MATCH(__sk, __net, __cookie, __saddr, __daddr, __ports, __dif) \
 ((inet_sk(__sk)->inet_portpair == (__ports)) &&  \
  (inet_sk(__sk)->inet_daddr == (__saddr)) &&  \
  (inet_sk(__sk)->inet_rcv_saddr == (__daddr)) &&  \
  (!(__sk)->sk_bound_dev_if ||    \
    ((__sk)->sk_bound_dev_if == (__dif)))  &&  \
  net_eq(sock_net(__sk), (__net)))

“在INET_MATCH中将网络包tcp header中的__saddr、__daddr、__ports和Linux中的socket中inet_portpair、inet_daddr、inet_rcv_saddr进行对比。如果匹配socket就找到了。当然除了ip和端口,INET_MATCH还比较了其它一些东东,所以TCP还有五元组、七元组之类的说法。”

# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.2 (Santiago)

# ss -ant | grep ESTAB |wc -l
1000013

# cat /proc/meminfo
MemTotal:        3925408 kB
MemFree:           97748 kB
Buffers:           35412 kB
Cached:           119600 kB
......
Slab:            3241528 kB

总结

客户端每建立一个连接就要消耗一个端口,所以很多同学当看到客户端机器上连接数一旦超过3W、5W就紧张的不行,总觉得机器要出问题了。

这篇文章的第一版也是很早就写出来了,不过飞哥又打磨了好长时间才算满意。在文中我们展示了一下 TCP socket的部分内核代码。通过源码来看:

TCP连接就是在客户机、服务器上的一对儿的socket。它们都在各自内核对象上记录了双方的ip对儿、端口对儿(也就是我们常说的四元组),通过这个在通信时找到对方。

TCP连接发送方在发送网络包的时候,会把这份信息复制到IP Header上。网络包带着这份信物穿过互联网,到达目的服务器。目的服务器内核会按照 IP 包 header 中携带的信物(四元组)去匹配找到正确的socket(连接)。

在这个过程里我们可以看到,客户端的端口只是这个四元组里的一元而已。哪怕两条连接用的是同一个端口号,只要客户端ip不一样,或者是服务器不一样都不影响内核正确寻找到对应的连接,而不会串线!

所以在客户端增加TCP最大并发能力有两个方法。第一个办法,为客户端配置多个ip。第二个办法,连接多个不同的server。

不过这两个办法最好不要混用。因为使用多 IP 时,客户端需要bind。一旦bind之后,内核建立连接的时候就不会选择用过的端口了。bind函数会改变内核选择端口的策略~~

最后我们亲手实验证明了客户端也可以突破百万的并发量级。相信读过此文的你,以后再也不用再惧怕65535这个数字了。

本文分享自微信公众号 - PHP饭米粒(phpfamily)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-12-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 漫话:如何给女朋友解释什么是HTTP

    周末一大早,我正在电脑前面浏览一些技术网站,突然女朋友大喊起来:哇,杭州又下大雪啦,快来看啊。我并没有理她,于是她跑过来拉我。

    Java3y
  • 论tcp的n次握手和m次挥手

    在计算机网络的TCP/IP协议栈中,位于传输层中的协议最常见的有两款,TCP和UDP。而说到TCP,入门的两个知识点也是考点,甚至揪细节的话,还会成为疑点的就是...

    Yerik
  • 如何给女朋友解释什么是HTTP

    周末一大早,我正在电脑前面浏览一些技术网站,突然女朋友大喊起来:哇,杭州又下大雪啦,快来看啊。我并没有理她,于是她跑过来拉我。

    用户1260737
  • 漫话:如何给女朋友解释什么是HTTP

    周末一大早,我正在电脑前面浏览一些技术网站,突然女朋友大喊起来:哇,杭州又下大雪啦,快来看啊。我并没有理她,于是她跑过来拉我。

    帅地
  • 近2亿美元融快看 kkmh.com被收购

    近日,Coatue Management领投国内漫画消费平台快看漫画D轮融资,融资总金额为1.77亿美元(约合11.7亿元人民币)。

    躲在树上的域小名
  • 专属| Linux内核曝漏洞

    在2018Black Hat会议上,来自Kzen Networks的安全研究人员透露: Cortana存在漏洞可利用Cortana漏洞绕过Windows 10系...

    漏斗社区
  • 细说渗透江湖之长路漫漫

    文章记录了一次护网前夕跟随同事们做的一次为期一周的演练,本次项目被要求集中在客户现场,由客户提供公网ip作为出口,方便管理,时间较紧,也不太好求助场外大佬,只好...

    释然
  • 这款让你跟鹿晗拍婚纱的App会成下一个足记吗?

    这几天注意到朋友圈的女性用户们正在密集地分享一类图片:与鹿晗在咖啡厅的合照,与吴亦凡的婚纱照,甚至与李易峰的床照…这款App叫“Facewin”,中文名为“脸赢...

    罗超频道
  • 三分钟基础知识:用动画给女朋友讲解 TCP 四次分手过程

    大家好,我们又见面了,做为一个业余的动画师,上次的用动画的形式讲解 TCP 三次握手过程再各大平台收到了广大读者的喜爱,说文章有趣、有货、有内容,也受到了很多读...

    帅地

扫码关注云+社区

领取腾讯云代金券