服务亿级图片压缩那些事

作者:王小飞

导语:图片压缩原本是2.4w台物理设备支撑,当前弹性平台仅用6k台容器为每天百亿次的压缩提供了可持续的计算力,除了图片压缩业务,平台还服务了视频转码业务,spark计算以及AI围棋和王者荣耀计算业务。复用现网低负载资源总核数达70W核,全天平均CPU使用率高达56%。

背景

QQ相册、微信传图和朋友圈每天近百亿张图片活跃于用户的手机、平板和电脑屏幕中,为大家带来生活趣味的同时,也给图片压缩带来了百亿级/天的计算量,当前每一个压缩计算都跑在架平TCS-弹性计算平台上,下面我们就来聊聊平台是如何服务海量压缩计算的。

可行性

图片压缩迁移弹性计算平台之前,采用压缩程序混部存储机器的策略,虽然节省计算资源的设备成本,但混部的运营面临如下几个问题,并增加了人力的运营成本:

1、资源利用率低

采用静态资源设备混部的方式,图片压缩业务在规划资源时,以业务高峰规划资源,设备量需几万台;而QQ和微信等社交类互联网业务,存在明显的波峰波谷效应,便意味着:非高峰期压缩设备的计算力被浪费了。

2、运维成本增加

随着QQ和微信业务快速发展,压缩资源的需求量不断增加,运维的同事每季度或者每月都需上架设备,投入人力运营;尤其业务突发时,资源量不能满足业务增长量,触发业务架构的柔性策略,对用户的体验有损。

3、业务相互干扰

图片业务与存储程序混合部署,未做资源物理隔离和程序侧性能隔离,存在cpu、内存等资源的竞争,业务高峰触发竞争加剧,导致互伤。

而TCS-弹性计算平台独有的资源物理隔离,服务量自动伸缩,服务权重动态可调等策略,契合的解决了业务的痛点。

平台那些事

  • 资源隔离 压缩存储程序混部时,业务高峰期,随着请求量的增长,cpu时间片的竞争加剧,尤其对绑核的程序影响较大,现网运营中遇到过存储程序获取cpu时间片断崖式下降的场景。针对资源潜伏的恶性竞争,弹性平台在复用docker在cpu、内存隔离的基础上,并沿用了cgroup中quota、share、period的配置限制策略,但此类技术仅对资源管控,并不能灵活应对程序对cpu时间片的毛刺,对此,弹性平台创新的提出动态捆绑cpu策略,监控cpu核负载的前提下,调度容器跑在负载低的cpu上,cpu调度后效果。
  • 名字化服务 图片压缩业务原本使用master管理compress资源列表,具体到每个压缩池、每个地域都需要一个独立master模块,造成master设备资源浪费,而且管理接口不统一,新介入的开发者上手耗时久;尤其对于业务突发场景,部署资源后,需要人工增添到master,运营不友好。面对业务的如上痛点,弹性计算平台提供了名字化服务,业务侧接入后,获取一个可访问的名字,平台将资源挂到名字下输出计算力,并在名字服务的基础上,打包提供了负载均衡,异常点删除策略保障业务的正常运行,解放运维人力;而且业务侧无需理解资源调度,开发者上手快;资源的伸缩通过名字透明化,运维同事只需关注业务状况。
  • 自动调度 压缩计算的静态资源规划需按业务高峰评估,低峰cpu 空闲浪费而且资源应对业务突发的能力弱,架构上柔性但有损用户体验。针对业务需求量与资源使用量的矛盾,平台从资源调度的角度完美解决:资源按需供应,盘活资源的整体使用,通过对容器上报的cpu、内存、磁盘io及占用量和网络io等数据的分析,构建业务的负载监控,并在引入InfluxDB后,监控告警间隔缩短到秒级;平台自动调度分为动态扩缩、异常调度和感知调度。

1、动态调度

平台最基础的调度方式,根据监控的容器负载信息做调度,以平台配合业务侧做的资源模型为依据,配置了负载高低阈值。当负载高于阈值,平台秒级扩容资源;负载低于阈值下限,平台分钟级缩容下架,保障业务稳定。

2、异常调度

平台基于cpu时钟指令分配策略,微创新的提出用CPI(Cycles Per Instruction)指标监控业务的运行状态,通过对业务cpi建模,将模型跑出的cpi数据作为基准值,当业务的cpi方差值偏离模型值时,平台执行剔除或者替换操作。

3、感知调度

平台在运营压缩业务中发现:在压缩程序自身的过载保护或者其他策略作用下,会出现cpu/cpi无明显变化,但压缩的延时、失败率升高的现象,针对资源指标正常,业务异常的矛盾,业务侧配合平台做了感知调度,即业务侧感知到时延或者失败率升高的压缩设备并反馈弹性平台,平台对此类资源做降权或者替换操作。

下面的两个图是压缩容器量和cpu负载图,全天cpu使用率几乎稳定在一条直线。

  • 负载均衡 弹性平台可调度资源多种多样,母机CPU的型号也并不统一,对此平台使用benchmark程序,在各种CPU类型的机器上跑测试,为每个CPU类型计算一个性能系数(系数的范围是0.x~ 1.x),计算资源权重时,基于cpu的性能系数做主调,业务现网的延时、失败率等负载做微调,下图是动态调整后,cpu负载分布图。

总结与展望

图片压缩原本是2.4w台物理设备支撑,当前弹性平台仅用6k台容器为每天百亿次的压缩提供了可持续的计算力,除了图片压缩业务,平台还服务了视频转码业务,spark计算以及AI围棋和王者荣耀计算业务。复用现网低负载资源总核数达70W核,全天平均CPU使用率高达56%。 年底弹性平台预计可调度的计算力可到100w核,深挖平台资源的计算力、使用率,为业务提供源源不断的低成本计算,在公司发力AI,倡导成本优化的大背影下,实现业务、平台、部门的多方共赢。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DevOps时代的专栏

DevOps 转型,只有工具是远远不够的!

? 敏捷软件开发已经打破了需求分析、测试、开发之间的壁垒。在软件开发流程中,开发与运维之间面临着相同的隔离问题。DevOps运动的目标就是打破开发与运维之间的...

1996
来自专栏腾讯移动品质中心TMQ的专栏

不会做bug分析?套路走起~

bug分析:本文指的是微观的bug分析。从单个有价值的bug入手,追踪和分析bug产生的本质原因,在此基础上对产品各个角色、以及项目流程做改善和优化。

1072
来自专栏SDNLAB

加快敏捷、混合云基础设施的步伐

Gartner预测,到2020年“no-cloud policy”将像今天的“no internet policy”一样罕见,混合云将成为云基础设施的主流。尽管...

3415
来自专栏云计算D1net

云计算可以为DevOps做些什么?

如今,云计算已经使DevOps的成长和扩展远远超出了由内部部署生产环境规定的传统界限。借助亚马逊网络服务(AWS)和其他云服务提供商,DevOps设备旨在通过授...

570
来自专栏云计算D1net

如何打造自己的混合云

近年来,许多企业都在以这种或那种方式利用云计算的诸多好处。在过去五年的过程中,云计算模式已经发展到支持多种新型的用例、用户和应用程序。通过云计算的发展,我们看到...

2796
来自专栏SDNLAB

编排不等于用例:不属于编排的Top3

在云计算的早期,我们曾花费大量时间教客户关于云是什么,如何使用它,为什么它是好的,更重要的是,云不是什么。

954
来自专栏ytkah

腾讯在线文档发布:实现QQ、微信多平台多人协作编辑

18日,腾讯宣布推出专注多人协作的在线文档产品—腾讯文档,据介绍,腾讯文档是一款支持随时随地创建、编辑的多人协作式在线文档工具,拥有一键翻译、实时股票函数和浏览...

3.1K5
来自专栏ytkah

微信公众号客服接口升级 支持第三方平台调用

客服接口今日又升级了,除了自定义客服头像和昵称外,也支持第三方平台代替公众号管理客服帐号和调用客服接口,需第三方平台接入公众号登录授权(在微信开放平台接入)。 ...

3225
来自专栏网站设计制作、数字营销

公司做电脑手机三合一网站需要了解的常识

随着HTML5网站制作前端技术的发展普及以及移动智能设备的流行,现代公司网站在原有只有PC网站的情景下越来越不能满足现代移动互联的趋势和营销需要。

1124
来自专栏DevOps时代的专栏

DevOps 标准体系发布及权威解读

一、DevOps 标准体系 ? 2017年11月17日,云计算开源产业联盟第一次跟高效运维社区一起在上海合办了首届金牌运维峰会,在工信部软件司的指导下,由中国信...

2366

扫码关注云+社区