谈谈后台服务的灰度发布与监控

为什么要有灰度发布与监控

《海量服务之道》里的《灰度发布》和《全方位监控》这两门课想必技术同事都已经学习过了。我觉得这两个方法论是非常具有行业特色的,也是非常具有腾讯特色的。

笔者在加入腾讯QQ后台团队之前,曾经在电信行业、金融行业做过几年开发工作。刚进入腾讯时,觉得技术上很多地方让人耳目一新:

  1. 后台系统都是部署在非常多的廉价服务器上,每个人都会管理非常多的机器,让人觉得很有成就感很富有
  2. 有比较精确的设备预算计算模型,每个服务器的性能在考虑容灾冗余的前提下,通常被压榨到刚刚好,负责人会深入的洞悉整个系统的性能、容灾、柔性等方方面面。能负责一个海量的系统是很荣耀的一件事情
  3. 没有专职的测试人员,经过开发者自测后,灰度发布加详细的监控,主要的系统几乎每两周都会被发布一轮,作为后台技术人员,自己的工作直接影响数以亿计的用户,有点手握核弹处于上帝视角的感觉
  4. 监控系统(我们内部一个叫monitor的系统)真的是太方便了,一条条曲线直观的展示整个系统运作的各种指标,如果有异常短信和电话就会响起来,让人觉得一切尽在掌控,有一种面对着大量仪表盘操控着航母游弋或者是战斗机挂着核弹翱翔的感觉。

好了,赶紧结束程序员意淫的美好感觉,我想说的重点是:灰度发布和监控真的是互联网海量服务必备的两大利器,能够极大的提高后台服务可用性和运营水平。

当然,灰度发布不只是一部分一部分的发布新代码,监控也不只是绘制曲线和告警短信那么简单,这里面深究下去会有很多东西,背后的哲学是持续交付、用户测试和尽在掌控。

毫秒服务引擎(msec, 取英文名Mass Service Engine in Cluster的首字母组合)是腾讯一个开源框架,其创作冲动和构建经验,来自QQ后台团队超过10年的运营思考。灰度发布能监控是毫秒服务引擎设计的重要考量点。

毫秒引擎里是怎么做的?

灰度发布

在服务配置管理页点击“制定发布计划”

选择这一次灰度要发布的目标机器和发布类型:

在接下来的向导中选择正确版本的配置文件、外部库、业务插件等,这样就完成了发布计划的制作:

接着,点击菜单 “运维->发布”,可以查询所有发布计划,对于已经发布的计划,可以做回滚操作。点击详情可以查看发布计划更详细信息,并执行发布:

监控

关于监控,在第二篇:RPC和路由管理那里讲得已经比较详细了,这里不赘述,只说明一下:除了RPC和框架本身自动上报的一些信息,还支持业务自定义上报信息(例如我想上报第28级VIP用户登录的次数),且支持对于关键指标的波动、最大值、最小值设置告警:

结语

灰度发布和监控是互联网海量服务必备的两大利器,能够极大的提高后台服务可用性和运营水平,背后的哲学是持续交付、用户测试和尽在掌控。借助毫秒服务引擎,初创团队可以快速获得这两大利器。详细的可见腾讯云服务市场毫秒服务引擎官网,或者微信公众号:msec-engine

相关推荐

后台服务标准化运营

谈谈后台服务的RPC和路由管理

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

谨防云计算的隐性成本

对于企业来说,公共云的总体成本可能具有吸引力,但还有许多其他因素需要包括在内,如果没有仔细的规划,采用云计算的成本很快就会螺旋上升。

1317
来自专栏芋道源码1024

女博士工程师:聊聊硅谷互联网公司的开发流程

之前很多文章或多或少已经说了一些点,现在很多国内公司也参考了一些流程,最近从始至终参与并负责了两个比较大的项目。这篇文章就系统的说一下开发始终吧。总的说来,我们...

834
来自专栏悦思悦读

浅析软件架构和云计算

到底什么使软件架构?如果你问工程师,一般会被甩给一份文档,其中最显眼的就是类似下面例子中的一副结构图。看起来好复杂,好有深度啊。于是你就退缩了。 ? 其实,功能...

40212
来自专栏新智元

GitHub重磅年度报告:JavaScript最热,中国开发者贡献稳居第二

在昨日举行的GitHub Universe 2018开发者大会上,GitHub发布了一款重量级产品:GitHub Actions,可直接运行部分代码的产品,彻底...

802
来自专栏BestSDK

如何以更少的成本、更便捷的方式构建私有云?

这些选项与传统的服务器部署模式类似:你可以部署在自己的服务器上,也可以在一个联合本地中心部署,你甚至可以在“托管但是专用”的基础上使用一个传统的托管服务。   ...

3387
来自专栏CSDN技术头条

SDCC 2015架构专场札记:一线互联网公司的架构实践

【编者按】11月21日,为期三天的SDCC2015中国软件开发者大会成功闭幕,主办方总计邀请了95余位演讲嘉宾,为参会者奉献了10个主题演讲,9大技术专场论坛(...

2097
来自专栏全栈数据化营销

营销案例分享:京东食间到新媒体传播策划方案

这个案例的借鉴意义其实也挺大的,主要还是在于确定策略后,如何将策略执行到位的问题,这里京东以活动为主,利用kol做大规模的宣传,当然kol的筛选其实还是挺有方法...

753
来自专栏轮子工厂

给新手程序员的一些建议

解决问题是一个通用的能力,本应在学生时代习得,若是不擅长解决问题,怕是短时间内很难提升,但在一个具体的领域里,往往「途径」更加重要。

792
来自专栏美团技术团队

2000万日订单背后:美团外卖客户端高可用建设体系

2402
来自专栏CSDN技术头条

视频监控“入云”11个理由

VSaaS(视频监控作为一种服务),是指基于云托管的视频监控。该服务通常包括视频录制、存储、远程查看、管理警报、网络安全等内容。据统计,93%的企业已经采用了云...

5175

扫码关注云+社区