大众点评新开源项目-Camel

原创作者:李洋(大众点评 平台架构组成员)

一、项目介绍

Camel 是大众点评开发的软负载一体解决方案,承担了F5四层硬负载后的软负载工作。Camel已成为大众点评网络流量中必不可缺的一层。

Camel对Nginx集群进行管理,通过可视化的网页,来编辑Nginx配置文件,大大简便了Nginx配置文件的开发量;并且能够同时管理多台Nginx服务器,省去登陆每台服务器再去修改配置文件的烦恼。

camel-admin与Nginx配置有关的功能主要有:站点管理,业务集群管理,Nginx集群管理。详见:http://leonindy.coding.me/camel_in_action/posts/ch3-use-guide/overall.html

Camel在大众点评的应用规模如下:

nginx服务器集群:

10多个nginx集群,共过百台nginx服务器

站点及业务集群:

300多个站点域名,近千个业务服务器集群

QPS:

每天响应约万次接口调用,其中有约数千次为nginx配置部署请求

Camel项目由, (基于Tengine开发的Web服务器), 三个模块组成:

:

Camel管理端:可以通过接口及页面两种方式对Nginx集群进行发布、重启、监控等操作。

:

大众点评基于Tengine开发的Web服务器。在Tengine的基础上,添加了降级等功能。

:

部署在Nginx服务器上,管理本机的Nginx进程与配置文件。

二、设计初衷

大众点评最开始采用F5做七层负载。随着网站规模的增大,F5成为了网络的瓶颈,主要原因有以下两点:

负载规则涉及到很多路径的正则匹配,这要求F5做很多的正则计算。这大大增加了F5的CPU负载。

F5需要对业务服务集群进行心跳检测。随着业务服务规模增大,F5需要对近千台服务器进行心跳检测。F5很难维持这个量级的心跳信息。

为此,我们决定使用软件工程的银弹-在架构上,增加新的层级。从而大众点评有两层负载,第一层为F5,做四层硬负载;第二层为Nginx集群,做七层硬负载。

三、两层负载

大众点评对网络流量采用两层负载。那么,这两层负载是如何分工的呢?

我们结合一个具体的请求来分析这个问题:

首先,浏览器寻找该域名对应的公网IP。电脑接入的运营商不同,对应的公网IP就不同。如果接入电信的网络,解析该域名对应的公网IP为**.**.**.**。

由于该IP是F5的对外IP,请求发送到F5上。

F5将此请求反向代理到一台Nginx服务器。

该Nginx服务器根据网址路径"/citylist"找到对应的负载规则,转发到规则中配置的业务服务器。

业务服务器响应该请求。

F5只做四层负载,不同的公网IP接受的流量,转发到不同的Nginx集群;

Nginx集群做七层负载,根据URL的路径、cookie等,转发到真正响应服务的业务服务器。

域名、IP、Nginx集群、业务集群的对应关系如下:

四、详细资料:

github地址:https://github.com/leonindy/camel

文档:http://leonindy.coding.me/camel_in_action/

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180419G1RCAP00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券