【Go 语言社区】如何实现单服务器300万个长连接的?

不是吹牛,理论上完全可以达到。 (以下参考值皆是Linux平台上) 1,Linux单个进程可以维持的连接数(fd)理论值是通过ulimit -a设置,或在server内使用setrlimit()设置,具体最大是多少?我看我的64机上是64bits的一个数值,所以,权且认为理论上是2^64-1。 anyway,几百万不是问题。 2,TCP连接数。因为是Server端,不用向系统申请临时端口,只占fd资源。所以tcp连接数不受限制。 3,维持连接当然需要内存消耗,假如每个连接(fd),我们为其分配5k字节(应该足够了,就存放一些用户信息之类的)。这样是5k*3000000=15G。 文中有24G内存,应该也足够了。 ================================ 下面我们说下文中提及的 多消息循环、异步非阻塞。 先说异步和非阻塞吧。权且认为这俩是一个概念。都是指的IO的异步和非阻塞。 1,异步+非阻塞的话,Linux上必然是epoll了。 原理上简而言之吧,异步就是基于事件的读写,epoll同时监听所有的tcp连接(fd),当有哪些连接上有了事件(读、写、错误),就返回有事件的连接集合,然后处理这个集合里的需要处理的连接事件。这儿就是基于事件的异步IO。 非阻塞。 在得到有事件的tcp连接集合之后,逐一进行读(写)。分开来说,需要读的fd,其实数据已经到OS的tcp buffer里了,读完直接返回,CPU不等待。(返回EAGAIN,其实就进行了几次memcpy); 需要写的连接,同样,其实是把数据写到了OS的tcp buffer里,写满为止。。不会等待对方发来ACK再返回。这样,其实这里CPU基本上只进行了一些memcpy的操作。。即便同时几十万连接有事件,也是瞬间处理完的事。。。然后,CPU再进行异步io等待(epoll_wait())。 当然这儿要充分利用多核,最好将io线程和work线程分开。 2,多消息循环。。这个应该是他们内部的概念。我个人猜测是异步的消息协议。 举例子,传统的TCP连接是一问一答,如HTTP。

如图,客户端在发送A和发送B之间,CPU就纯等待。服务器在回复A之后,也是纯等待B包的到来。。这样的话。TCP吞吐量很低。 异步协议就是读写完全分开,无需等待(当然,在包内需要自行对应包的ID来识别对应请求包和回复包)。如图

这样的话,双方在任一时刻,都尽最大努力的发包。充分利用tcp连接。使单条TCP连接吞量直线上升。而且,如果其中有一个包处理的极慢,丝豪不影响其他包的回包。 大体推算一下流量,因为300万的客户端均是手机客户端,,假如每个人每天平均收到500条push信息。300万*500=1500000000, 1500000000 /一天86400=17361。一个封装的不错的server每秒进行2W次IO是很轻松的事。 最后说单台Hold大量和多台Hold小量的区别。 成本上肯定是多台的硬件本高了。。但是,这个量级,从架构上,绝对是多台更加合理。我们假如,每个连接有一个用户认证的过程 ,用户认证时要去数据库(或其他类似db)查询用户信息,当你升级服务重启时,300万用户瞬间断开,客户端会重连;再次启动之后,300万用户同时连接,同时请求库。。然后,杯具了。。。

本文分享自微信公众号 - Golang语言社区(Golangweb)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-01-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员的酒和故事

为什么Go语言在中国格外的火

Go语言推出有几年了,似乎不温不火。但是在中国范围内,确实被关注的一塌糊涂。 这是2017年2月份TIOBE出的编程语言排名: ? 在拉勾网上搜索go的职位,结...

1.2K60
来自专栏Golang语言社区

Golang语言社区--标准库分析之strconv包

大家好,我是Golang语言社区主编彬哥,这篇是给大家转载的关于Go语言的strconv 包相关的知识。

93870
来自专栏Golang语言社区

Golang语言社区--Go语言基础第七节函数调用等

大家好,我是Golang语言社区主编彬哥,本篇给大家带来的是关于Go语言中的函数调用相关。

487100
来自专栏技术之路

golang 详解defer

defer用来声明一个延迟函数,把这个函数放入到一个栈上, 当外部的包含方法return之前,返回参数到调用方法之前调用,也可以说是运行到最外层方法体的"}"时...

35770
来自专栏程序员的酒和故事

Golang中使用echo框架、MongoDB、JWT搭建REST API

生命不止,继续go go go !!! 之前介绍过golang中restful api的博客,是使用redis作为持久化,httprouter作为框架: Go...

70350
来自专栏Golang语言社区

Golang语言社区--标准库strings包讲解

大家好,我是Golang语言社区主编彬哥,本篇文章是给大家转载关于标准库strings包的知识。

1K160
来自专栏程序员的酒和故事

Go实战--golang中使用RethinkDB(gorethink/gorethink.v3)

生命不止,继续go go go !!! 关于golang中操作数据库,曾经介绍了不少: Go实战–go语言操作sqlite数据库(The way to go) ...

69780
来自专栏美团技术团队

Docker 入门介绍

Docker简介 ---- Docker是DotCloud开源的、可以将任何应用包装在Linux container中运行的工具。2013年3月发布首个版本,当...

37680
来自专栏Golang语言社区

Golang语言社区--Go操作CSV文件

大家好,我是Golang语言社区主编彬哥;今天给大家讲解一篇关于Go语言操作CSV文件的相关的。

61890
来自专栏Golang语言社区

Golang语言社区--Golang通用连接池

连接池在编程中并不少见,链接数据库,redis等操作都需要连接池,否则就会出现并发问题,如果每次操作都建立一条新的链接将会大大消耗资源,笔者也是在使用thrif...

626100

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励