压测难,难于上青天,80%的直播应用都败在了这里

作者:Oliver,腾讯服务器性能测试团队产品经理。

商业转载请联系腾讯WeTest获得授权,非商业转载请注明出处。

WeTest导读

直播的火爆带来了海量的用户,也带来了海量的服务器并发。本文分析了目前直播行业存在的难点,从腾讯目前的新直播产品——NOW直播出发, 了解直播应用背后的那些事。

直播,

突然成为了中国互联网的一个最流行的词汇。在《2016-2020年中国网络直播行业深度调研及投资前景预测报告》中的数据表示,2015年,全国在线直播平台数量接近200家,其中网络直播的市场规模约为90亿,网络直播平台用户数量已经达到2亿,大型直播平台每日高峰时段同时在线人数接近400万,同时直播的房间数量超过3000个,更可怕的是,这一数据还在以极快的速度向上攀升。

直播平台用户数量2亿是什么概念?2016版的《微信数据化报告》中提到,目前微信用户达到了6.97亿人,也就是说,在你身边同龄的3-4个朋友之中,很有可能有一个人是网络直播的用户。

直播火没火,看用户就知道,但是直播有没有前景,就要看科技巨头们对它的态度了。

国外的Facebook推出的Facebook live给其用户带来的全新的体验,不仅增加了用户粘性,还给Facebook带来了新的收入来源。而YouTube live与电视点播相结合的经营模式也给用户带来了新的视频体验。

国内方面,斗鱼、虎牙、熊猫、龙珠、奇秀、花椒等专业的直播平台如雨后春笋般出现。阿里、百度、腾讯等巨头也不甘人后,纷纷推出了自己的直播平台。而直播所涉及的行业领域也从电竞、社交、电商等各个行业间开始广泛出现。

直播下的服务器压力

如此大的用户体量下,直播类的应用对于服务器的要求要高过一般的应用,我们来看看直播类的应用对服务器有哪些更多的挑战?

1、更大的数据量

视频数据和文本数据完全是两个量级的概念,假设一个直播房间有5000人,视频1s的数据60K,那么就需要5000*60=300000KB=292.97MB,基本已经达到了2-3个手游的大小了,而这只是一个房间产生的流量。今年4月刘涛入驻直播领域,创造了同时在线人数17万,总收看人数71万的数据,如果按照这个数量,服务器就会产生9.73Gbps的带宽,而当前某著名网络直播APP日活跃用户超过了800W,服务器将承受458Gbps的带宽压力。

2、更高的并发量

不同于普通应用和游戏,直播类应用的使用时间段非常的集中,一般来说,社交类的直播app时间集中在晚饭后时间至睡前20点~23点,游戏类App活跃时间集中在下班后18~20点间,秀场类App集中在13点和18点间(午休及下班时间),因此在这短短几小时之间,会涌入大量的用户,一次大V的直播通常就会造成百万级的用户登录,APP需要有详尽的限流、分流和负载均衡策略,保证服务器不会被冲垮。

(数据来源:大数据解析网络直播市场到底有多火,

http://mt.sohu.com/20160716/n459532686.shtml)

3、更真实的用户登录场景

直播应用与普通应用相比,交互的功能异常多,除了直播视频流的服务器压力之外,还要包括用户消息推送、聊天、礼物、支付以及统计系统带来的数据交互压力,服务器进行需要识别不同的业务字段,才能精确判定用户的行为是否成功完成,从交互频率的角度上来说,直播类的应用,与其说更像应用,不如说更像游戏。

4、更低的延迟

直播需要一个很强的即时性,如果主播的行为和用户的评论无法同步,会给用户非常不好的体验;如果一个用户发现其他用户在欢呼鼓掌,但是屏幕中的主播什么动静都没有,这个直播应用基本可以不要再用了,因此直播类应用不仅需要面对更大的数据量和更高的并发,还要保证更低的延迟。通常可以要保证服务器的处理数据速度要快,要有足够强大的带宽;另外则是通过P2P算法保证数据分享的合理性,保证服务器的数据和P2P的数据可以达到平衡。

直播前的服务器准备

直播应用下的服务器成本,与将要承受的流量情况息息相关,不同的直播应用,交互的频度、深度不同,就会产生不同的带宽压力。我们一起来算一笔帐,为直播应用准备服务器,大概需要多少钱?

首先,我们要买一个服务器。买多大的服务器呢?服务器的带宽要满足直播应用的带宽需求,在这里,科普一下带宽是怎么看的:

带宽通常使用的单位是bps(bits per second),8 bits通常等于1Byte,100Mbps在换算成我们熟悉的文件大小的时候,要除以8,也就是在100Mbps的带宽下,每秒钟可以下载12.5MB的文件,那么一般来说,直播应用需要多少带宽呢?见下图:

直播应用一般使用的分辨率是360p,720p以及1080p三种,为了看得清晰一些,一般人们都会选择720p,那么在720p的清晰度下,直播应用需要1024kbps的带宽,也就是每秒传递的数据大小为1024/8=128KB。简单来说,如果在APP中打开直播,使用了720p的分辨率,一个用户每秒钟需要传输128KB的数据(当然实际情况中直播应用还有消息推送,送礼,支付等行为,直播画面分辨率、压缩比等区别,实际会消耗更多的数据)。

那么,直播类应用现在需要承载多少用户呢?

以目前最红火的几大直播平台为例,斗鱼 TV 的在线人数可以超过1000 万,战旗 TV 在在线人数约500 万左右,龙珠在线人数约 400 万左右,虎牙在线人数约100万,直播平台的带宽成本通常是带宽峰值月结的形式,如果当月最高同时在线人数是200W,也就是每秒要传输的数据量高达244GB,那么理论上消耗的带宽就是2T左右,一个月的开销就在4000W人民币左右。

对于直播应用来说,服务器最难处理的环节就是视频流量和用户交互等高频率高带宽的场景,用户的行为是难以预测的,经常会出现突发性的暴涨,一般在进行活动的时候,流量可能是平时的几十倍。2016年7月11日,PAPI酱的一次直播带来了超过2000W用户的访问,这对于大多数的直播应用来说,服务器的成本都是难以承担的。这也是为什么越来越多的直播应用开始寻求云服务器的支持,目前的云服务商有腾讯云,阿里云,百度云,金山云等,彼此之间在硬件上的类型差别越来越小。

因此直播应用在上线前需要对多样化的用户操作进行针对性的测试,注册,聊天,礼物,支付等行为都需要进行不同接口的测试,NOW直播就是其中之一。

直播服务器的测试

测试需求的产生

腾讯NOW直播是腾讯目前发展非常迅速的直播应用,获得了通过QQ直接登录直播界面的入口,可见其受重视程度,而NOW直播在一场线上活动中,需要对活动的所有接口进行压力测试,提前暴露问题并解决,确保活动的顺利实施。为此,NOW直播与腾讯WeTest服务器性能测试进行了合作,对应用的业务后台进行了系统性的测试,对活动进行了一整套场景测试。(对于视频流量、用户交互等高频率高带宽的场景,也同样可以使用WeTest服务器性能测试的的高级模式进行,本文不做展开,尽请期待后续干货。)

测试前的思路梳理

一般来说,对于活动中的功能节点,测试过程中通常关注两点:

1、 单接口压测,提前暴露核心模块的问题

2、 多接口架构问题,场景压测尽量模拟真实用户行为,使得压测结果更有说服力

对于这次活动,NOW直播的思路也同样是通过简单的HTTP单接口和复杂的多接口场景压测,通过压测工具给后台和客户端APP增加压力源,帮助发现问题。

测试的执行

1、单接口压测——步步为营,逐渐迭代

单接口压测的原理很简单,就是不断的对某个功能接口不断加压,直到发现出现问题的那个极限就可以,在腾讯WeTest服务器性能测试上,操作如下:

1)点击压测产品首页中的快捷入口:HTTP直压。模式选择简单模式,名称和描述可以自己填写。(图中示例起始人数50人,每隔60秒增加50人,加到200人为上限)

2)新建一个客户端请求,接口压测包括读写接口,读接口基本是GET请求,写接口基本是POST请求。GET请求使用url请求参数,POST请求使用x-www-form-urlencoded方式传递参数,在这里NOW直播方法选择GET,填写想要测试的URL。

3)编辑一下测试模型,增加一个场景名,单接口测试只测试一个功能接口,因此模式选择“单场景”,压力百分比设置为100%。

通过这样的压测方式,不断增加服务器压力,直到找到瓶颈位置,腾讯WeTest为NOW直播实现了2W/s的并发量,满足了NOW直播的并发需求。

2、多接口压测——真实模拟,定位问题

多接口压测的主要逻辑,就是通过构建不同的功能接口,模拟用户的真实行为,从而帮助开发者定位接口问题。

NOW直播的测试方式是通过GET请求调用一个功能接口,通过这个功能接口随机产生不同行为逻辑的机器人,模拟真实的QQ用户,然后通过POST请求执行具体的业务行为,从而发现功能之间会产生的逻辑问题。

NOW直播测试团队读接口基本是GET请求,写接口基本是POST请求。GET请求使用url请求参数,POST请求使用x-www-form-urlencoded方式传递参数。

腾讯WeTest 服务器性能测试上,我们可以进行如下操作:

1)首先,通过GET请求,读取一个用户的“登陆态”,通过这个功能接口随机产生不同行为逻辑的机器人,模拟真实的QQ用户;然后通过POST请求依次执行具体的业务行为,从而发现功能之间产生的逻辑问题。

2)在测试场景中输入场景名,NOW直播测试的是“登录-进入房间-点赞”这样三个操作,然后“模式”选择“上下文”,点击“压测场景”,选择调用不同的功能接口。

目前腾讯WeTest服务器性能测试支持同时接入8个场景,更多的场景可以更真实的模拟用户的行为。

总结

通过NOW直播与腾讯WeTest在服务器性能测试方面的合作可以看出,目前的直播应用非常注重两块的内容:一个是单接口的承载能力,一个是多接口的架构情况。对于开发人员来说,前者的问题是好解决的,通过平行扩容的方式就可以做到优化,但是后者的问题则需要在多个功能接口之间不断定位问题,不断尝试新的压力测试,才能找到那个存在的隐患。

基于NOW直播的需求,腾讯WeTest也提升了可同时调用的场景接口,从原来的4个增加到了8个,之后也会不断的增加;并且也不断的增加可以实现的并发数,为用户提供更大的并发压力和更真实的行为场景节省了更多的测试成本。

做好这些,才能做出更好的直播应用。

腾讯WeTest运用了沉淀十多年的内部实践经验总结,通过基于真实业务场景和用户行为进行压力测试,帮助游戏开发者发现服务器端的性能瓶颈,进行针对性的性能调优,降低服务器采购和维护成本,提高用户留存和转化率。

关于腾讯WeTest

腾讯WeTest是腾讯游戏官方推出的一站式游戏测试平台,用十年腾讯游戏测试经验帮助广大开发者对游戏开发全生命周期进行质量保障。 腾讯WeTest提供:兼容适配测试;云端真机调试;安全测试;耗电量测试;服务器压力测试;舆情监控等服务。

原文发布于微信公众号 - 腾讯WeTest(TencentWeTest)

原文发表时间:2016-10-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Forrest随想录

从0到1:蘑菇街运维技术管理体系建设分享(上)

大家下午好!我叫赵成,来自蘑菇街。今天给大家分享的题目是从0到1,蘑菇街运维技术管理体系建设分享。正式开始分享之前,首先作一个简单的自我介绍和公司介绍。我叫赵成...

32920
来自专栏杨建荣的学习笔记

运维开发的开源项目

运维开发的开源项目很多,从很多人的理解中,开源就是把代码一开放就完事了,当然远远没有这么简单。其实如果在GitHub上观察多一些,那些顶级项目都是更新频...

29620
来自专栏PHP在线

高可用性系统在大众点评的实践与经验

原文出处: 美团点评技术博客 所谓高可用性指的是系统如何保证比较高的服务可用率,在出现故障时如何应对,包括及时发现、故障转移、尽快从故障中恢复等等。本文主要以...

31470
来自专栏北京马哥教育

史上最全互联网运维工作规划!十分钟找到职业方向!

互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够7×24小时为用户提供高质量的服务。 运维人员对公司互联网业务所依赖的基础...

1.2K110
来自专栏WeTest质量开放平台团队的专栏

如何做到精准性能测试——WeTest助手

春节将至,还处于工作状态的小伙伴们想好怎么度过愉快的猴年假期了没!腾讯WeTest先在这里给大家拜个早年,祝大家猴年猴开心~ ? 腾讯WeTest自开放以来,...

40430
来自专栏云计算D1net

混合云应用对于企业的意义

虽然为混合云部署开发应用并不是某种黑暗魔法,但是对于很多企业来说,这还是一项具有一定神秘性的工作。 可以想象,任何设想进行混合云开发的用户最终都需要完...

26630
来自专栏云计算D1net

混合云的重要性及如何开始使用混合云

导语 混合云可以让您在本地运行您的基础设施,可以按租赁、配置和扩展要求获得一些云功能,然后在准备就绪后可以将应用程序迁移到公共云(也可能是私有云)。实际上,出于...

33570
来自专栏云计算D1net

混合云使用不能盲目:学习最佳实践是王道

多年来,企业一直享受着混合云带来的益处。然而,他们同时也忍受着不断增长的痛苦,混合云的新人可以从他们的前辈所犯的错误中学习。 混合云的采用率正在上升。很多组织看...

370150
来自专栏腾讯技术工程官方号的专栏

腾讯研发效率领先的秘密:高效率的工具

1.1K140
来自专栏cloudskyme

跟我一起云计算(6)——openAPI

介绍 Open API即开放API,也称开放平台。 所谓的开放API(OpenAPI)是服务型网站常见的一种应用,网站的服务商将自己的网站服务封装成一系列API...

54240

扫码关注云+社区

领取腾讯云代金券