（八）高性能服务器架构设计总结4——以flamigo服务器代码为例
（八）高性能服务器架构设计总结4——以flamigo服务器代码为例
系列目录
第01篇 主线程与工作线程的分工
第02篇 Reactor模式
第03篇 一个服务器程序的架构介绍
第04篇 如何将socket设置为非阻塞模式
第05篇 如何编写高性能日志
第06篇 关于网络编程的一些实用技巧和细节
第07篇 开源一款即时通讯软件的源码
第08篇 高性能服务器架构设计总结1
第09篇 高性能服务器架构设计总结2
第10篇 高性能服务器架构设计总结3
第11篇 高性能服务器架构设计总结4
二、架构篇
一个项目的服务器端往往由很多服务组成，就算单个服务在性能上做到极致，支持的并发数量也是有限的。举个简单的例子，假如一个聊天服务器，每个用户的信息是1k，那对于一个8G的内存的机器，在不考虑其它的情况下810241024*1024 / 100 = 1024，实际有838万，但实际这只是非常理想的情况。所以我们有时候需要需要某个服务部署多套，就单个服务的实现来讲还是《框架篇》中介绍的。
1
我们举个例子：
这是蘑菇街TeamTalk的服务器架构。
MsgServer是聊天服务，可以部署多套，每个聊天服务器启动时都会告诉loginSever和routeSever自己的ip地址和端口号，当有用户上线或者下线的时候，MsgServer也会告诉loginSever和routeSever自己上面最新的用户数量和用户id列表。
现在一个用户需要登录，先连接loginServer，loginServer根据记录的各个MsgServer上的用户情况，返回一个最小负载的MsgServer的ip地址和端口号给客户端，客户端再利用这个ip地址和端口号去登录MsgServer。当聊天时，位于A MsgServer上的用户给另外一个用户发送消息，如果该用户不在同一个MsgServer上，MsgServer将消息转发给RouteServer，RouteServer根据自己记录的用户id信息找到目标用户所在的MsgServer并转发给对应的MsgServer。
2
上面是分布式部署的一个例子，我们再来看另外一个例子。这个例子是单个服务的策略，实际服务器在处理网络数据的时候，如果同时有多个socket上有数据要处理，可能会出现一直服务前几个socket，直到前几个socket处理完毕后再处理后面几个socket的数据。这就相当于，你去饭店吃饭，大家都点了菜，但是有些桌子上一直在上菜，而有些桌子上一直没有菜。这样肯定不好，我们来看下如何避免这种现象：
1int CFtdEngine::HandlePackage(CFTDCPackage *pFTDCPackage,
2 CFTDCSession *pSession)
3{
4 //NET_IO_LOG0("CFtdEngine::HandlePackage\n");
5 FTDC_PACKAGE_DEBUG(pFTDCPackage);
6
7 if (pFTDCPackage->GetTID() != FTD_TID_ReqUserLogin)
8 {
9 if (!IsSessionLogin(pSession->GetSessionID()))
10 {
11 SendErrorRsp(pFTDCPackage, pSession, 1, "客户未登录");
12 return 0;
13 }
14 }
15
16 CalcFlux(pSession, pFTDCPackage->Length()); //统计流量
17
18 REPORT_EVENT(LOG_DEBUG, "Front/Fgateway", "登录请求%0x",
19 pFTDCPackage->GetTID());
20
21 int nRet = 0;
22 switch(pFTDCPackage->GetTID())
23 {
24
25 case FTD_TID_ReqUserLogin:
26 ///huwp：20070608：检查过高版本的API将被禁止登录
27 if (pFTDCPackage->GetVersion()>FTD_VERSION)
28 {
29 SendErrorRsp(pFTDCPackage, pSession, 1,
30 "Too High FTD Version");
31 return 0;
32 }
33 nRet = OnReqUserLogin(pFTDCPackage,
34 (CFTDCSession *)pSession);
35 FTDRequestIndex.incValue();
36 break;
37 case FTD_TID_ReqCheckUserLogin:
38 nRet = OnReqCheckUserLogin(pFTDCPackage,
39 (CFTDCSession *)pSession);
40 FTDRequestIndex.incValue();
41 break;
42 case FTD_TID_ReqSubscribeTopic:
43 nRet = OnReqSubscribeTopic(pFTDCPackage,
44 (CFTDCSession *)pSession);
45 FTDRequestIndex.incValue();
46 break;
47 }
48
49 return 0;
50}当有某个socket上有数据可读时，接着接收该socket上的数据，对接收到的数据进行解包，然后调用CalcFlux(pSession, pFTDCPackage->Length())进行流量统计：
1void CFrontEngine::CalcFlux(CSession *pSession, const int nFlux)
2{
3 TFrontSessionInfo *pSessionInfo = m_mapSessionInfo.Find(pSession->GetSessionID());
4 if (pSessionInfo != NULL)
5 {
6 //流量控制改为计数
7 pSessionInfo->nCommFlux ++;
8 ///若流量超过规定，则挂起该会话的读操作
9 if (pSessionInfo->nCommFlux >= pSessionInfo->nMaxCommFlux)
10 {
11 pSession->SuspendRead(true);
12 }
13 }
14} 该函数会先让某个连接会话（Session）处理的包数量递增，接着判断是否超过最大包数量，则设置读挂起标志：
1void CSession::SuspendRead(bool bSuspend)
2{
3 m_bSuspendRead = bSuspend;
4} 这样下次将会从检测的socket列表中排除该socket：
1void CEpollReactor::RegisterIO(CEventHandler *pEventHandler)
2{
3 int nReadID, nWriteID;
4 pEventHandler->GetIds(&nReadID, &nWriteID);
5 if (nWriteID != 0 && nReadID ==0)
6 {
7 nReadID = nWriteID;
8 }
9 if (nReadID != 0)
10 {
11 m_mapEventHandlerId[pEventHandler] = nReadID;
12 struct epoll_event ev;
13 ev.data.ptr = pEventHandler;
14 if(epoll_ctl(m_fdEpoll, EPOLL_CTL_ADD, nReadID, &ev) != 0)
15 {
16 perror("epoll_ctl EPOLL_CTL_ADD");
17 }
18 }
19}
20
21
22void CSession::GetIds(int *pReadId, int *pWriteId)
23{
24 m_pChannelProtocol->GetIds(pReadId,pWriteId);
25 if (m_bSuspendRead)
26 {
27 *pReadId = 0;
28 }
29}也就是说不再检测该socket上是否有数据可读。然后在定时器里1秒后重置该标志，这样这个socket上有数据的话又可以重新检测到了：
1const int SESSION_CHECK_TIMER_ID = 9;
2const int SESSION_CHECK_INTERVAL = 1000;
3
4
5SetTimer(SESSION_CHECK_TIMER_ID, SESSION_CHECK_INTERVAL);
6
7
8void CFrontEngine::OnTimer(int nIDEvent)
9{
10 if (nIDEvent == SESSION_CHECK_TIMER_ID)
11 {
12 CSessionMap::iterator itor = m_mapSession.Begin();
13 while (!itor.IsEnd())
14 {
15 TFrontSessionInfo *pFind = m_mapSessionInfo.Find((*itor)->GetSessionID());
16 if (pFind != NULL)
17 {
18 CheckSession(*itor, pFind);
19 }
20 itor++;
21 }
22 }
23}
24
25void CFrontEngine::CheckSession(CSession *pSession,
26 TFrontSessionInfo *pSessionInfo)
27{
28 ///重新开始计算流量
29 pSessionInfo->nCommFlux -= pSessionInfo->nMaxCommFlux;
30 if (pSessionInfo->nCommFlux < 0)
31 {
32 pSessionInfo->nCommFlux = 0;
33 }
34 ///若流量超过规定，则挂起该会话的读操作
35 pSession->SuspendRead(pSessionInfo->nCommFlux >= pSessionInfo->nMaxCommFlux);
36}这就相当与饭店里面先给某一桌客人上一些菜，让他们先吃着，等上了一些菜之后不会再给这桌继续上菜了，而是给其它空桌上菜，大家都吃上后，继续回来给原先的桌子继续上菜。实际上我们的饭店都是这么做的。上面的例子是单服务流量控制的实现的一个非常好的思路，它保证了每个客户端都能均衡地得到服务，而不是一些客户端等很久才有响应。
3
另外加快服务器处理速度的策略可能就是缓存了，缓存实际上是以空间换取时间的策略。对于一些反复使用的，但是不经常改变的信息，如果从原始地点加载这些信息就比较耗时的数据（比如从磁盘中、从数据库中），我们就可以使用缓存。
所以时下像redis、leveldb、fastdb等各种内存数据库大行其道。我在flamingo中用户的基本信息都是缓存在聊天服务程序中的，而文件服务启动时会去加载指定目录里面的所有程序名称，这些文件的名称都是md5，为该文件内容的md5。这样当客户端上传了新文件请求时，如果其传上来的文件md5已经位于缓存中，则表明该文件在服务器上已经存在，这个时候服务器就不必再接收该文件了，而是告诉客户端文件已经上传成功了。
说了这么多，一般来说，一个服务器的架构，往往更多取决于其具体的业务，我们要在结合当前的情况来实际去组织铺排，没有一套系统是万能的。多思考，多实践，多总结，相信很快你也能拥有很不错的架构能力。
本系列完
系列目录
第01篇 主线程与工作线程的分工
第02篇 Reactor模式
第03篇 一个服务器程序的架构介绍
第04篇 如何将socket设置为非阻塞模式
第05篇 如何编写高性能日志
第06篇 关于网络编程的一些实用技巧和细节
第07篇 开源一款即时通讯软件的源码
第08篇 高性能服务器架构设计总结1
第09篇 高性能服务器架构设计总结2
第10篇 高性能服务器架构设计总结3
第11篇 高性能服务器架构设计总结4