看腾讯运维应对“18岁照片全民怀旧”事件的方案,你一定不后悔!

作者丨魏旸:腾讯高级工程师,15年运维经验的老专家,负责QQ空间、微云、QQ空间相册的运维工作,亲历8亿军装照、QQ空间异地多活建设等重大架构升级事件。

2017年12月30日,元旦假期的第一天,你的朋友圈被18岁照片刷屏了吗?据说“晒18岁照片”的根源是2017年年未,最后一批90后将度过他们的18岁生日。这意味着,90后已全部成年,集体告别了青葱芳华。

这是一个青春的、也是怀旧的年华,QQ空间做为国内第一批社交平台产品,承载了较多的用户记忆,大量的用户涌入QQ空间翻找自己多年前的18岁照片晒上社交平台。集体引爆了空间相册山洪峰涌而至的照片流量。

下面这篇文章让我们回顾12月30日,空间相册面对突发四倍流量,七成访问落在后端冷存储的极端压力下,相册运维、开发团队如何凭借平时基础功底,从告警、容量、扩容、柔性、调度等全方面运维能力,扛过“18岁照片”的全民怀旧事件。

业务数据回顾

突然来袭的用户集中行为,给我们平台的能力带来了非常严峻的考验,先让我们先来看一组数据:

1) 图片下载量峰值达到平日晚高峰的4倍,且70%以上都聚集在平日不怎么访问的冷图片。

2) 图片上传量达到平日晚高峰的4倍。

3) 带图说说峰值达到平日晚高峰的12倍。

1.jpg

业务架构剖析

面对突然涌入的用户请求,相册开发与和运维是如何坚守阵地,度过这次难关的呢?

在介绍一系列的措施之前,首先不得不介绍下相册业务架构,下图较为抽像地介绍了相册的主要架构:

4.png
  1. 上传链路: 用户上传图片/视频,数据流主要由上图中间链路处理,经过proxy->逻辑(分片、权限、缓存等)->存储接入(分片整合、生成文件地址等)->落地存储
  2. 下载链路:
  • 用户通过空间(说说、日志、动态等)访问相册图片,图片适配模块根据用户请求、终端、请求量等场景适配出最优图片规格,返回用户图片、视频URL。
  • 用户通过上一步获取的URL 访问后端存储的图片、视频。

日常运维工作

同时,我们介绍一下腾讯SNG社交网络运营部平时进行的一些日常容量管理工作。

1) 链路梳理

如上节所述,我们梳理出相册核心链路,常用梳理过程有几种:

  • 通过抓包形式确定链路模块
  • 通过设备上报的主被调数据确定调用链路
  • 名字服务中获取相关的调用链数据。
  • 通过全链路数据汇总出相关的链路。

2)压测:

定期对整条链路做压测,压测手段有异地调度压测,或单机压测,通过压测找出链路内存在瓶颈的模块,及时修正链路模型。

3)高低负载处理:

依据压测容量数据,分配设备扩容。负载较低的模块设备进行缩容下线以节省成本。

3.1.PNG

容量应急措施

但是这里的问题是显而易见的:以上常规性的工作,只能发现常规场景下内部存在的瓶颈。像18岁照片这种特殊场景(用户大量读取空间相册,获取冷数据),无法通过常规压测检测出来问题, 这就需要一系列的机制来解决

1) 监控和容量弹性机制:

通过IaaS层监控对系统的基础特征进行监控,(如CPU负载,出入流量),当模块容量出现异常时,弹性扩容机制需要介入处理,进行扩容。

如何快速支持短时间扩容上千台设备呢?不得不介绍一下腾讯SNG的织云运维理念。

如上文所述,我们的设备被分配到不同的“业务模块”,而每一个模块有如下的属性:

1) 包:业务处理逻辑文件包,包含业务包与基础包。

2) 配置:包含业务包要使用到的各种配置

3) 权限:包含支撑业务包正常运行时需要的数据库、内部鉴权系统等权限

4) 测试工具:包含业务包启动后,能否接入现网的测试标准

织云提倡的自动化理念是:标准化 -> 配置化 -> 自动化,让企业的常用操作固化成流程工具。不依赖容易过期的文档,不依赖容易流失的人的经验。

6.jpg

参考持续交付的原则“为软件的发布创建一个可重复且可靠的过程”,运维团队为了解决人肉操作经验差异的难题,将运维操作通过流程DIY编排能力,实现标准操作的固化。“18岁照片”活动扩容,任何一个运维人员只需要执行QQ相册的扩容功能即可实现容量扩展,而织云流程会自动化的完成整个服务部署和上线的操作。(如下图)

3.jpg

柔性业务架构

前面我们说过,相册在当天的峰值下载量涨了4倍,且多是访问冷数据,但在短时间内无法筹集到4倍的资源,业务是如何应对的呢,在保证用户核心体验不受影响的前提下,我们采用了一些柔性手段。

回顾一下,当时我们在容量不足时碰到以下的问题,导致短时间内部分图片拉取耗时过长,影响用户体验。

1) 存储压力过大。

2) 自身模块压力过大。

针对存储压力过大的问题,我们采用了以下几个手段来降低业务负载:

1) 存储手段

a. 图片适配优化索引策略减少存储压力

减少拉取照片分批次数,降低后端存储处理压力。分批拉取照片列表数量增加3倍。交互次数直接下降近2/3。

b. 图片上传增加本地缓存空间减少存储高负载造成的用户上传失败

调整上传逻辑模块,从原来的本地内存缓存优化为内存+本地磁盘缓存,通过增加本地缓存空间减少后端存储高负载对用户侧上传图片/视频的影响。虽然底层存储高负载了,但是用户还是可以不受底层影响,将图片通过接入上传到逻辑层缓存。存储压力释放后即可将逻辑层缓存的数据上传到存储层。

c. 降低图片规则,减少图片下载流量:

一张图片分为小、中、大三种规格,为了节约存储容量中图是通过图片压缩模块实时压缩返回给用户的,小图和大图真实存储在存储模块。为了降低图片下载的流量压力,我们调整了适配策略,用户访问大图,适配直接返回小图的url,减少了图片压缩逻辑,并且降低了带宽。调整后图片下载带宽对比如下:

d. 上传不检查相册有效性,减少存储索引访问量:

正常情况,在用户上传图片时到相册时,会检查相册是否存在,如相册已被删除,则直接报错。柔性策略跳过相册有效性检查,直接上传图片到后端存储,降低索引访问量,降低索引模块负载。

同时在业务逻辑上,也做了以下的柔性措施:

a. 核心模块启用过载保护机制:

判断单机cpu使用率超过80%时,会自动丢弃多余的请求,以保证业务逻辑模块在大量用户请求场景下不雪崩。

b. 柔性关闭非核心业务功能减少业务自身负载

每张图片在高速存储会存储一份位置信息,图片裁剪时用于标示一张图片核心元素的位置。禁用此逻辑后,用户看到的图片无人脸中心点, 客户端裁剪可能不准确。

关闭用户删除标记,适配图片适配前会预先检测图片是否被删除,如已被删除则不会返回对应的图片列表。删除标记逻辑也会频繁和索引模块交互,高峰期时会占用大量计算资源。禁用此逻辑,用户访问相册时会看到已被删除的图片,但是会标记为灰色已删除。

调度:相册业务分布在三地,每地分别承载了约33%的用户,某地请求过高时,我们可以调度用户至其他容量相对较低的地域。

5.png

小结

从“18岁照片全民怀旧”热点社交事件可以看到,事发过程中留给运维的时间相当少,只有严格贯彻“养兵千日用兵一时”的标准化运维理念,建设完善的运维体系,才能在突发事件中游刃有余。

2.jpg

后记

这次18岁照片活动,相册通过多种手段顶住了业务压力。 同时通过这次活动,我们也对未来的运维工具进行了进一步规划,比如:

a) 基于容量的智能调度体系

b) 资源托管平台。

c) 自动演习系统。

织云平台的运维能力在不断迭代,期待在下一次活动来临时能够做到更加有条不紊。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序人生

Let it crash: 因为误解,所以瞎说

今天我知乎的时间线上反复出现了一个流毒甚广的帖子:「应该如何理解Erlang的“就让它崩溃”思想?」,十几个不懂装懂的回答,赞竟然都不少。 严格意义上来说,我之...

3007
来自专栏pangguoming

高性能Web服务端 PHP vs Node.js vs Nginx-Lua 的对比分析

1. ngx_lua nodejs php 比较 我在研究一阵子ngx_lua之后发现lua语法和js真的很像,同时ngx_lua模型也是单线程的异步的事件驱动...

6405
来自专栏Java架构解析

阿里P7面试经历JAVA总结,技术面,HR面

总体上来看,还是比较注重基础的 尤其是java的多线程和并发安全性及数据库相关,另外对有关开源框架的具体底层实现需要多阅读源码并进行总结。

2230
来自专栏挖掘大数据

超详细的大数据学习资源推荐(下)

服务编程 Akka Toolkit:JVM中分布性、容错事件驱动应用程序的运行时间; Apache Avro:数据序列化系统; Apache Cura...

2115
来自专栏SDNLAB

SDN实战团分享(三十三):Hurricane分布式实时处理系统架构及SDN领域的应用

嘉宾简介:卢誉声,Autodesk软件研发工程师,从事平台架构方面的研发工作。 在此之前,他曾在思科系统(中国)研发中心云产品研发部工作,并参与了大规模分布式系...

3506
来自专栏京东技术

【详解】图数据库 | 灵活存储复杂关联关系

从事10年JAVA研发工作,架构经验丰富,目前担任京东物流逆向创新业务团队leader,负责京东国际化逆向物流相关研发工作。

2272
来自专栏java一日一条

前谷歌高级Java架构师分享工作8年经验(如何成为一名架构师)

很多工作一定年限的程序员感觉自己到了瓶颈不知道怎么去突破,其实这个时候就要冲破传说中的架构师。

1121
来自专栏全华班

如何实现一个优质的微服务框架

摘要: 一个优质的微服务框架需要考虑的要素众多,在满足微服务设计理念的前提下,也是一个不断实践优化的过程。 本文讲述了整个 开源微服务框架 Apache Ser...

1744
来自专栏SDNLAB

菜鸟驿站:学习SDN/NFV路上遇到的术语(二)

VNF:Virtualized Network Function(VNF)虚拟网络功能。NFV技术主要由3个部分构成,VNF、NFVI(网络功能虚拟化基础设施N...

3509
来自专栏Spark学习技巧

第5篇:数据库系统的实现

前言 前面的文章中,主要都是在围绕关系数据库理论进行研究,没有涉及到数据库系统的具体实现。 虽说数据库系统的具体实现因业务环境,RDBMS等因素而异,但总体开发...

2837

扫码关注云+社区