(八)高性能服务器架构设计总结4——以flamigo服务器代码为例

系列目录

第01篇 主线程与工作线程的分工

第02篇 Reactor模式

第03篇 一个服务器程序的架构介绍

第04篇 如何将socket设置为非阻塞模式

第05篇 如何编写高性能日志

第06篇 关于网络编程的一些实用技巧和细节

第07篇 开源一款即时通讯软件的源码

第08篇 高性能服务器架构设计总结1

第09篇 高性能服务器架构设计总结2

第10篇 高性能服务器架构设计总结3

第11篇 高性能服务器架构设计总结4

二、架构篇

一个项目的服务器端往往由很多服务组成,就算单个服务在性能上做到极致,支持的并发数量也是有限的。举个简单的例子,假如一个聊天服务器,每个用户的信息是1k,那对于一个8G的内存的机器,在不考虑其它的情况下810241024*1024 / 100 = 1024,实际有838万,但实际这只是非常理想的情况。所以我们有时候需要需要某个服务部署多套,就单个服务的实现来讲还是《框架篇》中介绍的

1

我们举个例子:

这是蘑菇街TeamTalk的服务器架构。

MsgServer是聊天服务,可以部署多套,每个聊天服务器启动时都会告诉loginSever和routeSever自己的ip地址和端口号,当有用户上线或者下线的时候,MsgServer也会告诉loginSever和routeSever自己上面最新的用户数量和用户id列表。

现在一个用户需要登录,先连接loginServer,loginServer根据记录的各个MsgServer上的用户情况,返回一个最小负载的MsgServer的ip地址和端口号给客户端,客户端再利用这个ip地址和端口号去登录MsgServer。当聊天时,位于A MsgServer上的用户给另外一个用户发送消息,如果该用户不在同一个MsgServer上,MsgServer将消息转发给RouteServer,RouteServer根据自己记录的用户id信息找到目标用户所在的MsgServer并转发给对应的MsgServer。

2

上面是分布式部署的一个例子,我们再来看另外一个例子。这个例子是单个服务的策略,实际服务器在处理网络数据的时候,如果同时有多个socket上有数据要处理,可能会出现一直服务前几个socket,直到前几个socket处理完毕后再处理后面几个socket的数据。这就相当于,你去饭店吃饭,大家都点了菜,但是有些桌子上一直在上菜,而有些桌子上一直没有菜。这样肯定不好,我们来看下如何避免这种现象:

 1int CFtdEngine::HandlePackage(CFTDCPackage *pFTDCPackage,
 2                              CFTDCSession *pSession)  
 3{  
 4    //NET_IO_LOG0("CFtdEngine::HandlePackage\n");  
 5    FTDC_PACKAGE_DEBUG(pFTDCPackage);  
 6
 7    if (pFTDCPackage->GetTID() != FTD_TID_ReqUserLogin)  
 8    {  
 9        if (!IsSessionLogin(pSession->GetSessionID()))  
10        {  
11            SendErrorRsp(pFTDCPackage, pSession, 1, "客户未登录");  
12            return 0;  
13        }  
14    }  
15
16    CalcFlux(pSession, pFTDCPackage->Length());  //统计流量  
17
18    REPORT_EVENT(LOG_DEBUG, "Front/Fgateway", "登录请求%0x",
19                  pFTDCPackage->GetTID());   
20
21    int nRet = 0;  
22    switch(pFTDCPackage->GetTID())   
23    {  
24
25    case FTD_TID_ReqUserLogin:  
26        ///huwp:20070608:检查过高版本的API将被禁止登录  
27        if (pFTDCPackage->GetVersion()>FTD_VERSION)  
28        {  
29            SendErrorRsp(pFTDCPackage, pSession, 1,
30                         "Too High FTD Version");  
31            return 0;  
32        }  
33        nRet = OnReqUserLogin(pFTDCPackage,
34                             (CFTDCSession *)pSession);  
35        FTDRequestIndex.incValue();  
36        break;  
37    case FTD_TID_ReqCheckUserLogin:  
38        nRet = OnReqCheckUserLogin(pFTDCPackage, 
39                                  (CFTDCSession *)pSession);  
40        FTDRequestIndex.incValue();  
41        break;  
42    case FTD_TID_ReqSubscribeTopic:  
43        nRet = OnReqSubscribeTopic(pFTDCPackage, 
44                                  (CFTDCSession *)pSession);  
45        FTDRequestIndex.incValue();  
46        break;    
47    }  
48
49    return 0;  
50}

有某个socket上有数据可读时,接着接收该socket上的数据,对接收到的数据进行解包,然后调用CalcFlux(pSession, pFTDCPackage->Length())进行流量统计:

 1void CFrontEngine::CalcFlux(CSession *pSession, const int nFlux)  
 2{  
 3    TFrontSessionInfo *pSessionInfo = m_mapSessionInfo.Find(pSession->GetSessionID());  
 4    if (pSessionInfo != NULL)  
 5    {  
 6        //流量控制改为计数  
 7        pSessionInfo->nCommFlux ++;   
 8        ///若流量超过规定,则挂起该会话的读操作  
 9        if (pSessionInfo->nCommFlux >= pSessionInfo->nMaxCommFlux)  
10        {  
11            pSession->SuspendRead(true);  
12        }  
13    }  
14} 

该函数会先让某个连接会话(Session)处理的包数量递增,接着判断是否超过最大包数量,则设置读挂起标志

1void CSession::SuspendRead(bool bSuspend)  
2{  
3    m_bSuspendRead = bSuspend;  
4}  

这样下次将会从检测的socket列表中排除该socket

 1void CEpollReactor::RegisterIO(CEventHandler *pEventHandler)  
 2{  
 3    int nReadID, nWriteID;  
 4    pEventHandler->GetIds(&nReadID, &nWriteID);  
 5    if (nWriteID != 0 && nReadID ==0)  
 6    {  
 7        nReadID = nWriteID;  
 8    }  
 9    if (nReadID != 0)  
10    {  
11        m_mapEventHandlerId[pEventHandler] = nReadID;  
12        struct epoll_event ev;  
13        ev.data.ptr = pEventHandler;  
14        if(epoll_ctl(m_fdEpoll, EPOLL_CTL_ADD, nReadID, &ev) != 0)  
15        {  
16            perror("epoll_ctl EPOLL_CTL_ADD");  
17        }  
18    }  
19}  
20
21
22void CSession::GetIds(int *pReadId, int *pWriteId)  
23{  
24    m_pChannelProtocol->GetIds(pReadId,pWriteId);  
25    if (m_bSuspendRead)  
26    {  
27        *pReadId = 0;  
28    }  
29}

也就是说不再检测该socket上是否有数据可读。然后在定时器里1秒后重置该标志,这样这个socket上有数据的话又可以重新检测到了:

 1const int SESSION_CHECK_TIMER_ID    = 9;  
 2const int SESSION_CHECK_INTERVAL    = 1000;  
 3
 4
 5SetTimer(SESSION_CHECK_TIMER_ID, SESSION_CHECK_INTERVAL);  
 6
 7
 8void CFrontEngine::OnTimer(int nIDEvent)  
 9{  
10    if (nIDEvent == SESSION_CHECK_TIMER_ID)  
11    {  
12        CSessionMap::iterator itor = m_mapSession.Begin();  
13        while (!itor.IsEnd())  
14        {  
15            TFrontSessionInfo *pFind = m_mapSessionInfo.Find((*itor)->GetSessionID());  
16            if (pFind != NULL)  
17            {  
18                CheckSession(*itor, pFind);  
19            }  
20            itor++;  
21        }  
22    }  
23}  
24
25void CFrontEngine::CheckSession(CSession *pSession,
26                                TFrontSessionInfo *pSessionInfo)  
27{  
28    ///重新开始计算流量  
29    pSessionInfo->nCommFlux -= pSessionInfo->nMaxCommFlux;  
30    if (pSessionInfo->nCommFlux < 0)  
31    {  
32        pSessionInfo->nCommFlux = 0;  
33    }  
34    ///若流量超过规定,则挂起该会话的读操作  
35    pSession->SuspendRead(pSessionInfo->nCommFlux >= pSessionInfo->nMaxCommFlux);
36}

这就相当与饭店里面先给某一桌客人上一些菜,让他们先吃着,等上了一些菜之后不会再给这桌继续上菜了,而是给其它空桌上菜,大家都吃上后,继续回来给原先的桌子继续上菜。实际上我们的饭店都是这么做的。上面的例子是单服务流量控制的实现的一个非常好的思路,它保证了每个客户端都能均衡地得到服务,而不是一些客户端等很久才有响应。

3

另外加快服务器处理速度的策略可能就是缓存了,缓存实际上是以空间换取时间的策略。对于一些反复使用的,但是不经常改变的信息,如果从原始地点加载这些信息就比较耗时的数据(比如从磁盘中、从数据库中),我们就可以使用缓存。

所以时下像redis、leveldb、fastdb等各种内存数据库大行其道。我在flamingo中用户的基本信息都是缓存在聊天服务程序中的,而文件服务启动时会去加载指定目录里面的所有程序名称,这些文件的名称都是md5,为该文件内容的md5。这样当客户端上传了新文件请求时,如果其传上来的文件md5已经位于缓存中,则表明该文件在服务器上已经存在,这个时候服务器就不必再接收该文件了,而是告诉客户端文件已经上传成功了。

说了这么多,一般来说,一个服务器的架构,往往更多取决于其具体的业务,我们要在结合当前的情况来实际去组织铺排,没有一套系统是万能的。多思考,多实践,多总结,相信很快你也能拥有很不错的架构能力。

本系列完

系列目录

第01篇 主线程与工作线程的分工

第02篇 Reactor模式

第03篇 一个服务器程序的架构介绍

第04篇 如何将socket设置为非阻塞模式

第05篇 如何编写高性能日志

第06篇 关于网络编程的一些实用技巧和细节

第07篇 开源一款即时通讯软件的源码

第08篇 高性能服务器架构设计总结1

第09篇 高性能服务器架构设计总结2

第10篇 高性能服务器架构设计总结3

第11篇 高性能服务器架构设计总结4

原文发布于微信公众号 - 高性能服务器开发(easyserverdev)

原文发表时间:2018-04-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java架构师学习

一文归纳总结分布式架构的那些事!

进入十一月,最火热的话题与期待的日子自然是双十一狂欢购物节了,作为程序员的你除了要清空自己的购物车之外,最关心的是不是双十一架构技术是如何承受亿级用户流量的冲击...

1034
来自专栏JAVA高级架构

架构师必备词汇和知识点

01 高可用 负载均衡(负载均衡算法) 反向代理 服务隔离 服务限流 服务降级(自动优雅降级) 失效转移 超时重试(代理超时、容器超时、前端超时、中间件超时、...

4468
来自专栏Java帮帮-微信公众号-技术文章全总结

14款Java开发工具【面试+工作】

1、JDK (Java Development Kit)Java开发工具集 SUN的Java不仅提了一个丰富的语言和运行环境,而且还提了一个免费的J...

5565
来自专栏FreeBuf

Python渗透工具的架构探讨

本文原创作者:VillanCh,本文属FreeBuf原创奖励计划,未经许可禁止转载 在最近忙活的一些事情中,体会到:如果你写的不是一个脚本,那么作为一个有命令行...

2065
来自专栏Timhbw博客

关于模仿网站的一些心得

2016-05-0417:47:47 发表评论 580℃热度 最近在做一个公司网站(学习为主),发现大部分企业网站都是静态网页,用php的少之又少,大部分都是...

3817
来自专栏DeveWork

LNMP一键安装包下腾讯云“动态加速”服务的正确使用姿势

许多站长是使用 LNMP 一键安装包来搭建在云主机的上的系统环境,本人的个人小站也是如此。最近在使用腾讯云的动态加速服务,而在这个 LNMP 环境下使用踩了点坑...

80833
来自专栏Python中文社区

Python中文社区开源项目计划:forward

1333
来自专栏FreeBuf

Umap2 | 开源USB host安全评估工具

Umap2是一款由NCC Group和Cisco SAS小组开发的、基于python的USB host安全评估工具。 它拥有第一版所支持的所有功能: umap2...

2025
来自专栏高性能服务器开发

(八)高性能服务器架构设计总结4——以flamigo服务器代码为例

二、架构篇 一个项目的服务器端往往由很多服务组成,就算单个服务在性能上做到极致,支持的并发数量也是有限的,举个简单的例子,假如一个聊天服务器,每个用户的信息是1...

4914
来自专栏blackheart的专栏

[解读REST] 5.Web的需求 & 推导REST

衔接上文[解读REST] 4.基于网络应用的架构风格,上文总结了一些适用于基于网络应用的架构风格,以及其评估结果。在前文的基础上,本文介绍一下Web架构的需求,...

19410

扫码关注云+社区

领取腾讯云代金券