操作系统能否支持百万连接?

下面来分别对这几个问题进行分析.

1. 操作系统能否支持百万连接?

对于绝大部分 Linux 操作系统, 默认情况下确实不支持 C1000K! 因为操作系统包含最大打开文件数(Max Open Files)限制, 分为系统全局的, 和进程级的限制.

全局限制

在 Linux 下执行:

cat /proc/sys/fs/file-nr

会打印出类似下面的一行输出:

5100 0 101747

第三个数字 101747 就是当前系统的全局最大打开文件数(Max Open Files), 可以看到, 只有 10 万, 所以, 在这台服务器上无法支持 C1000K. 很多系统的这个数值更小, 为了修改这个数值, 用 root 权限修改 /etc/sysctl.conf 文件:

fs.file-max = 1020000

net.ipv4.ip_conntrack_max = 1020000

net.ipv4.netfilter.ip_conntrack_max = 1020000

进程限制

执行:

ulimit -n

输出:

1024

说明当前 Linux 系统的每一个进程只能最多打开 1024 个文件. 为了支持 C1000K, 你同样需要修改这个限制.

临时修改

ulimit -n 1020000

不过, 如果你不是 root, 可能不能修改超过 1024, 会报错:

-bash: ulimit: open files: cannot modify limit: Operation not permitted

永久修改

编辑 /etc/security/limits.conf 文件, 加入如下行:

# /etc/security/limits.conf

work hard nofile 1020000

work soft nofile 1020000

第一列的 work 表示 work 用户, 你可以填 *, 或者 root. 然后保存退出, 重新登录服务器.

注意: Linux 内核源码中有一个常量(NR_OPEN in /usr/include/linux/fs.h), 限制了最大打开文件数, 如 RHEL 5 是 1048576(2^20), 所以, 要想支持 C1000K, 你可能还需要重新编译内核.

2. 操作系统维持百万连接需要多少内存?

解决了操作系统的参数限制, 接下来就要看看内存的占用情况. 首先, 是操作系统本身维护这些连接的内存占用. 对于 Linux 操作系统, socket(fd) 是一个整数, 所以, 猜想操作系统管理一百万个连接所占用的内存应该是 4M/8M, 再包括一些管理信息, 应该会是 100M 左右. 不过, 还有 socket 发送和接收缓冲区所占用的内存没有分析. 为此, 我写了最原始的 C 网络程序来验证:

服务器

#include

#include

#include

#include

#include

#include

#include

#include

#define MAX_PORTS 10

int main(int argc, char **argv){

struct sockaddr_in addr;

const char *ip = "0.0.0.0";

int opt = 1;

int bufsize;

socklen_t optlen;

int connections = 0;

int base_port = 7000;

if(argc > 2){

base_port = atoi(argv[1]);

}

int server_socks[MAX_PORTS];

for(int i=0; i maxfd){

maxfd = server_socks[i];

}

}

int ret = select(maxfd + 1, &readset, NULL, NULL, NULL);

if(ret < 0){

if(errno == EINTR){

continue;

}else{

printf("select error! %s\n", strerror(errno));

exit(0);

}

}

if(ret > 0){

for(int i=0; i

注意, 服务器监听了 10 个端口, 这是为了测试方便. 因为只有一台客户端测试机, 最多只能跟同一个 IP 端口创建 30000 多个连接, 所以服务器监听了 10 个端口, 这样一台测试机就可以和服务器之间创建 30 万个连接了.

客户端

#include

#include

#include

#include

#include

#include

#include

int main(int argc, char **argv){

if(argc <= 2){

printf("Usage: %s ip port\n", argv[0]);

exit(0);

}

struct sockaddr_in addr;

const char *ip = argv[1];

int base_port = atoi(argv[2]);

int opt = 1;

int bufsize;

socklen_t optlen;

int connections = 0;

bzero(&addr, sizeof(addr));

addr.sin_family = AF_INET;

inet_pton(AF_INET, ip, &addr.sin_addr);

char tmp_data[10];

int index = 0;

while(1){

if(++index >= 10){

index = 0;

}

int port = base_port + index;

printf("connect to %s:%d\n", ip, port);

addr.sin_port = htons((short)port);

int sock;

if((sock = socket(AF_INET, SOCK_STREAM, 0)) == -1){

goto sock_err;

}

if(connect(sock, (struct sockaddr *)&addr, sizeof(addr)) == -1){

goto sock_err;

}

connections ++;

printf("connections: %d, fd: %d\n", connections, sock);

if(connections % 10000 == 9999){

printf("press Enter to continue: ");

getchar();

}

usleep(1 * 1000);

/*

bufsize = 5000;

setsockopt(serv_sock, SOL_SOCKET, SO_SNDBUF, &bufsize, sizeof(bufsize));

setsockopt(serv_sock, SOL_SOCKET, SO_RCVBUF, &bufsize, sizeof(bufsize));

*/

}

return 0;

sock_err:

printf("error: %s\n", strerror(errno));

return 0;

}

我测试 10 万个连接, 这些连接是空闲的, 什么数据也不发送也不接收. 这时, 进程只占用了不到 1MB 的内存. 但是, 通过程序退出前后的 free 命令对比, 发现操作系统用了 200M(大致)内存来维护这 10 万个连接! 如果是百万连接的话, 操作系统本身就要占用 2GB 的内存! 也即 2KB 每连接.

可以修改

/proc/sys/net/ipv4/tcp_wmem

/proc/sys/net/ipv4/tcp_rmem

来控制 TCP 连接的发送和接收缓冲的大小(多谢 @egmkang).

3. 应用程序维持百万连接需要多少内存?

通过上面的测试代码, 可以发现, 应用程序维持百万个空闲的连接, 只会占用操作系统的内存, 通过 ps 命令查看可知, 应用程序本身几乎不占用内存.

4. 百万连接的吞吐量是否超过了网络限制?

假设百万连接中有 20% 是活跃的, 每个连接每秒传输 1KB 的数据, 那么需要的网络带宽是 0.2M x 1KB/s x 8 = 1.6Gbps, 要求服务器至少是万兆网卡(10Gbps).

总结

Linux 系统需要修改内核参数和系统配置, 才能支持 C1000K. C1000K 的应用要求服务器至少需要 2GB 内存, 如果应用本身还需要内存, 这个要求应该是至少 10GB 内存. 同时, 网卡应该至少是万兆网卡.

当然, 这仅仅是理论分析, 实际的应用需要更多的内存和 CPU 资源来处理业务数据.

参考:

* http://www.cyberciti.biz/faq/linux-increase-the-maximum-number-of-open-files/ * http://www.lognormal.com/blog/2012/09/27/linux-tcpip-tuning/

好啦，今天的分享到这里就结束了，如果想获得更多的技术性文章，可以访问马哥教育官网！