微信朋友圈:应对春节千亿访问量背后的故事

微信朋友圈包括图片和视频两套业务架构组成,朋友圈图片的特点是请求量大、消耗计算资源较多,视频则主要消耗带宽。朋友圈的数据是永远存储的,而且随着业务的快速发展,存储容量、带宽和设备的消耗大量增加,而重大节日带来的使用量增长,更加剧了消耗,也给运维人员的保障带来了巨大压力。

节日保障主要由三方面组成:软件保障指通过程序、业务逻辑层面的优化和评估,减轻负载;硬件保障主要指带宽、机器负载的评估和扩容;柔性措施指的是通过业务调整,降低一些不重要特性的资源,来保障重点特性的正常运行。

软件保障

朋友圈整体情况:

朋友圈的架构,主要分为OC和IDC两种,IDC指的是数据中心,即数据最终落地存储的地方,OC指的是带外网的独立机房,SOC指规模较大的OC。每个IDC都有一整套接口机/逻辑设备/存储设备用以支撑用户的上传下载、及文件落地存储的需求。

OC点的主要作用是提供外网访问,承载用户的下载流量。每个OC内的设备,一起组成一个缓存池,用户下载时,本地OC中缓存不命中,才到IDC去回源拉取文件。每个OC的功能都是相同的,用户一般到就近的OC点下载,当单个OC点故障时,会通过重试或者切换让用户到其他OC点下载,确保下载成功。

容灾及重试机制:

朋友圈的模块容灾主要是实现单机故障时的自动剔除,主要形式是通过master管理服务器的ip列表,通过心跳探测等方式找到异常设备,并屏蔽故障ip,不返回给前端使用,以front层的单机剔除为例:

如果整个OC或IDC点碰到故障,由于变动较大,一般依赖运维人员手工切换来恢复,或者通过模块之间的重试机制来保障

朋友圈下载的重试:

不管是用户到OC的下载过程,还是OC到IDC的回源过程,默认都会进行2次失败后的重试,并且重试一定会选择异地的接入点,避免继续重试到故障的节点。实现的原理是每一层master都会返回给前端至少两组ip列表,并保证两组ip列表为异地节点,前端失败时才可以实现异地重试。

但重试由于会造成请求的增加,所以是把双刃剑,节日期间由于请求本身涨幅已经很高,重试更容易引发问题,需要进行调整:

1.通过master路由下发,关闭重试。在元旦/春节这种请求有数倍增长的节日实行。

2.值班人员严密监控,如果IDC失败率超过20%,则紧急手工关闭重试。这种在中秋/国庆这种增长并不高的节日实行。

Front模块的重试控制界面:

硬件保障

容量评估和设备扩容:

节日前运维人员会连同资源组,根据业务预算和业务增长的需求及实际负载,进行各个机房、模块的设备扩容。预算以外的请求上涨,则通过柔性或者过载的方式,进行降低或者拒绝。

  • 机房容量主要根据交换机带宽的上限评估
  • 接入层设备容量主要根据CPU、内存的负载比例、网卡的流量/包量占比来评估。
  • 存储层设备容量主要根据CPU、内存的负载比例、磁盘IO的读写次数来评估。

春节朋友圈上传负载:

业务侧春节要求的增长比例,是上传支持9倍增长,下载支持1倍增长,超过这个比例的请求可以拒绝掉,但根据预算扩容后,达到上图的效果,还是有部分模块无法支持这个涨幅,尤其是压缩compress模块,该模块每支持一倍增长就需要大量虚拟机扩容,预算内无法支持,这样就需要使用柔性策略来解决。

柔性策略

朋友圈的柔性策略分为两层:

第一层是粗暴柔性,即按比例、接业务直接限制上传下载的请求,被限制的请求会返回给用户失败,与微信C2C相同,这种一般用于超过系统预估的负载能力,造成系统故障时用于快速恢复业务时使用。

第二层是按业务特性柔性,即从业务层面通过降低图片视频清晰度、延迟用户更新等方向降低系统的负载。下面主要详述业务柔性

朋友圈业务的主要增长与瓶颈:

从前文的设备负载评估图看,在预算范围内,接入层和逻辑层都只能支撑5倍增长,而压缩compress模块只能支撑1倍增长。

1.压缩compress柔性

Compress模块的作用是将客户端上传来的原始图片按需求压缩成各种格式和尺寸,以支持特定的业务场景,并且节省存储空间和带宽。由于压缩技术的不断发展,使用更先进的压缩格式,同等清晰度的图片压缩比例越高,需要消耗的压缩计算资源就越多。

所以如果反向操作,将当前使用的hevc格式替换回jpeg格式存储的话,就可以节省压缩资源,实测compress的cpu负载可以降为20%,即支持5倍增长。但图片的平均大小也会上涨,造成下载流量上涨。

所以采用的折衷方法,是在上传图片换回jpeg格式的同时,将图片的清晰度从70降为50,这样可以减小文件平均大小,从而抵消换回jpeg格式带来的流量上涨效果。实际测试中,发现用户对降清晰度的感知并不明显,在节假日短暂开启不会影响用户体验。

2.小视频码率柔性

小视频的带宽平时会超过1TB,节日效应增长明显。所采取的降流量方法与图片类似,即降低上传视频的码率,通过降低文件平均大小的方法来节省带宽。

柔性: 小视频码率1800 -> 1200 平均大小 2.1MB -> 1.3MB

经测试,降码率后基本不会影响用户体验,但由于是对新上传视频生效,要体现到下载带宽的下降中,就有相当程度的延迟,大约需要4小时完全生效。所以这一柔性措施在节日之前就需要开启,不能用于应付紧急情况。

降码率生效期间流量变化

3.上传TSSD缓冲池柔性

由于上传preupload接口机及后层的逻辑模块等,都无法支持10倍涨幅。所以在架构中另外搭建了两套TSSD缓冲池,缓冲池用于临时存储新上传的文件,可以支持读写。按上图所示,在zone模块处增加了缓冲池一,在上传preupload处,增加了缓冲池二。两个缓冲池的作用是有区别的:

  •  zone模块如果过载,主动过载掉的上传请求,不会直接返回失败,而是将请求写入到缓冲池一中,缓冲池一中的文件并不能被下载到,但会按比较慢的速度将文件下发,写入到后端模块。所以缓冲池一的主要作用是减缓短时间内大量的上传请求,而不是完全抵消上传请求,并且缓冲池一中的文件是不能被下载到的。

  • 在preupload模块处增加了缓冲池二,preupload模块中对存储TFS的写请求次数做了限制,如果上传请求数超过了存储TFS的能力,则preupload会将请求写入缓冲池二。用户下载时,会根据文件标识进行判断,如果发现文件存储在缓冲池二而不是TFS中,则会到缓冲池二中去获取文件。所以缓冲池二可以替代TFS的功能,起到保护底层模块的效果。等到缓冲池二下架时,需要将其中的文件人工写入到TFS中。

4.朋友圈timeline按比例柔性

timeline指的是微信朋友圈更新的时间戳,这一柔性的原理是将通知用户好友朋友圈更新的时间戳先缓存起来,不下发给用户的微信终端,这样微信上就看不到朋友圈更新的内容了,也就不会产生下载图片/视频的请求,可以直接减少下载流量。

timeline柔性后这里不会更新了

但也有几点注意事项:

  • 容易引起用户投诉,用户一般会明显感知到朋友圈内容变少了。
  • 如果缓存timeline的时间过久,将缓存下发的过程就必须很慢,否则会引起下载流量的进一步暴涨。

春节人工执行柔性的步骤

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

浅谈zookeeper性能的优缺点

zookeeper原本不是为高可用性设计的,但很多系统实际上是需要跨机房部署的。出于性价比的考虑我们通常会让多个机房同时工作,而不会搭建N倍的冗余。也就是说单个...

4197
来自专栏测试开发架构之路

程序员面试之软件测试面试问答

1、问:你在测试中发现了一个bug,但是开发经理认为这不是一个bug,你应该怎样解决? 首先,将问题提交到缺陷管理库里面进行备案。 然后,要获取判断的依据和标准...

47214
来自专栏北京马哥教育

从小公司,一路跌跌撞撞到腾讯,论高级DBA的自我修养!

专职做 DBA 已经 6 年多的时间了,一路走来,感触非常深。看同行、同事犯了太多的错误,同样我自己也犯了非常多的错误,然而绝大多数的错误其实都是很低级的错误。...

3908
来自专栏恒思考

流媒体第一篇-直播p2p设计

p2p的意思是让数据不都从一台服务器拉留,对于直播公司来说就是想办法少给cdn钱,对于cdn厂商来说降低峰值什么的。怎么p2p首先你要保证有人看你这个直播,看的...

1682
来自专栏携程技术中心

干货 | 携程网络防火墙自动化运维之道

? 随着互联网技术的不断发展,在线网站的规模越来越大,防火墙作为网站的安全屏障,被大量的使用。防火墙数量的增加以及防火墙中安全策略条目的增加,安全工程师的运维...

21210
来自专栏互联网杂技

Neilsen十大可用性设计原则

最近在做toB类产品的时候,经常会被业务带着跑从而忽略了可用性设计的基本原则,最后导致自己的方案被挑战而说不出理由。所以当设计拿捏不准的时候,最好还好依照基本的...

3299
来自专栏美团技术团队

客户端自动化测试研究

背景 测试作为质量保证极其重要的一环,在移动App开发流程中起到非常关键的作用。从开发工程师到测试工程师,人人都应具备良好的测试意识,将隐患和风险在上线之前找出...

39012
来自专栏Python中文社区

量化金融策略开源框架:QUANTAXIS

QUANTAXIS量化金融策略框架,是一个面向中小型策略团队的量化分析解决方案,是一个从数据爬取、清洗存储、分析回测、可视化、交易复盘的本地一站式解决方案。 我...

800
来自专栏zhisheng

渣渣菜鸡为什么要看 ElasticSearch 源码?

人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需,大型企业早已淹没在系统生成的浩瀚数据流当中。大数据技术业已集中在如何存储...

623
来自专栏腾讯开源的专栏

【开源公告】 微信后台Phx系列开源

来自微信后台团队的话 微信后台团队是一支充满活力的团队,自2010年那天微信后台第一版发布开始,便满怀着代码令生活更美好的理想,一行一行地去改善着人们的移动生活...

3477

扫码关注云+社区