Now 直播应用的后台服务器性能测试实践

作者介绍:Oliver,腾讯服务器性能测试团队产品经理。

直播的火爆带来了海量的用户,也带来了海量的服务器并发。本文分析了目前直播行业存在的难点,从腾讯目前的新直播产品——NOW直播出发, 了解直播应用背后的那些事。

直播,突然成为了中国互联网的一个最流行的词汇。在《2016-2020年中国网络直播行业深度调研及投资前景预测报告》中的数据表示,2015年,全国在线直播平台数量接近200家,其中网络直播的市场规模约为90亿,网络直播平台用户数量已经达到2亿,大型直播平台每日高峰时段同时在线人数接近400万,同时直播的房间数量超过3000个,更可怕的是,这一数据还在以极快的速度向上攀升。

直播平台用户数量2亿是什么概念?2016版的《微信数据化报告》中提到,目前微信用户达到了6.97亿人,也就是说,在你身边同龄的3-4个朋友之中,很有可能有一个人是网络直播的用户。

直播火没火,看用户就知道,但是直播有没有前景,就要看科技巨头们对它的态度了。

国外的Facebook推出的Facebook live给其用户带来的全新的体验,不仅增加了用户粘性,还给Facebook带来了新的收入来源。而YouTube live与电视点播相结合的经营模式也给用户带来了新的视频体验。

国内方面,斗鱼、虎牙、熊猫、龙珠、奇秀、花椒等专业的直播平台如雨后春笋般出现。阿里、百度、腾讯等巨头也不甘人后,纷纷推出了自己的直播平台。而直播所涉及的行业领域也从电竞、社交、电商等各个行业间开始广泛出现。

直播下的服务器压力

如此大的用户体量下,直播类的应用对于服务器的要求要高过一般的应用,我们来看看直播类的应用对服务器有哪些更多的挑战?

更大的数据量

视频数据和文本数据完全是两个量级的概念,假设一个直播房间有5000人,视频1s的数据60K,那么就需要5000*60=300000KB=292.97MB,基本已经达到了2-3三个手游的大小了,而这只是一个房间产生的流量。今年4月刘涛入驻直播领域,创造了同时在线人数17万,总收看人数71万的数据,如果按照这个数量,服务器就会产生9.73Gbps的带宽,而当前某著名网络直播APP日活跃用户超过了800W,服务器将承受458Gbps的带宽压力。

更高的并发量

不同于普通应用和游戏,直播类应用的使用时间段非常的集中,一般来说,社交类的直播app时间集中在晚饭后时间至睡前20点~23点,游戏类App活跃时间集中在下班后18~20点间,秀场类App集中在13点和18(午休及下班时间),因此在这短短几小时之间,会涌入大量的用户,一次大V的直播通常就会造成百万级的用户登录,APP需要有详尽的限流、分流和负载均衡策略,保证服务器不会被冲垮。

(数据来源:大数据解析网络直播市场到底有多火)

更真实的用户登录场景

直播应用与普通应用相比,交互的功能异常多,除了直播视频流的服务器压力之外,还要包括用户消息推送、聊天、礼物、支付以及统计系统带来的数据交互压力,服务器进行需要识别不同的业务字段,才能精确判定用户的行为是否成功完成,从交互频率的角度上来说,直播类的应用,与其说更像应用,不如说更像游戏。

更低的延迟

直播需要一个很强的即时性,如果主播的行为和用户的评论无法同步的时候,会给用户非常不好的体验,如果一个用户发现其他用户在欢呼鼓掌,但是屏幕中的主播什么动静都没有的时候,这个直播应用基本可以不要再用了,因此直播类应用不仅需要面对更大的数据量和更高的并发,还要保证更低的延迟。通常可以要保证服务器的处理数据速度要快,要有足够强大的带宽;另外则是通过P2P算法保证数据分享的合理性,保证服务器的数据和P2P的数据可以达到平衡。

直播前的服务器准备

直播应用下的服务器成本,与将要承受的流量情况息息相关,不同的直播应用,交互的频度、深度不同,就会产生不同的带宽压力。我们一起来算一笔帐,为直播应用准备服务器,大概需要多少钱?

首先,我们要买一个服务器。买多大的服务器呢?服务器的带宽要满足直播应用的带宽需求,在这里,科普一下带宽是怎么看的:

带宽通常使用的单位是bps(bits per second),8 bits通常等于1Byte,100Mbps在换算成我们熟悉的文件大小的时候,要除以8,也就是在100Mbps的带宽下,每秒钟可以下载12.5MB的文件,那么一般来说,直播应用需要多少带宽呢?见下图:

直播应用一般使用的分辨率是360p,720p以及1080p三种,为了看得清晰一些,一般人们都会选择720p,那么在720p的清晰度下,直播应用需要1024kbps的带宽,也就是每秒传递的数据大小为1024/8=128KB。简单来说,如果在APP中打开直播,使用了720p的分辨率,一个用户每秒钟需要传输128KB的数据(当然实际情况中直播应用还有消息推送,送礼,支付等行为,直播画面分辨率、压缩比等区别,实际会消耗更多的数据)。

那么,直播类应用现在需要承载多少用户呢?

以目前最红火的几大直播平台为例,斗鱼 TV 的在线人数可以超过1000 万,战旗 TV 在在线人数约500 万左右,龙珠在线人数约 400 万左右,虎牙在线人数约100万,直播平台的带宽成本通常是带宽峰值月结的形式,如果当月最高同时在线人数是200W,也就是每秒要传输的数据量高达244GB,那么理论上消耗的带宽就是2T左右,一个月的开销就在4000W人民币左右。

对于直播应用来说,服务器最难处理的环节就是视频流量和用户交互等高频率高带宽的场景,用户的行为是难以预测的,经常会出现突发性的暴涨,一般在进行活动的时候,流量可能是平时的几十倍。2016年7月11日,PAPI酱的一次直播带来了超过2000W用户的访问,这对于大多数的直播应用来说,服务器的成本都是难以承担的。这也是为什么越来越多的直播应用开始寻求云服务器的支持,目前的云服务商有腾讯云,阿里云,百度云,金山云等,彼此之间在硬件上的类型差别越来越小。

因此直播应用在上线前需要对多样化的用户操作进行针对性的测试,注册,聊天,礼物,支付等行为都需要进行不同接口的测试,NOW直播就是其中之一。

直播服务器的测试

测试需求的产生

腾讯NOW直播是腾讯目前发展非常迅速的直播应用,获得了通过QQ直接登录直播界面的入口,可见其受重视程度,而NOW直播在一场线上活动中,需要对活动的所有接口进行压力测试,提前暴露问题并解决,确保活动的顺利实施。为此,NOW直播与腾讯WeTest服务器性能测试进行了合作,对应用的业务后台进行了系统性的测试,对活动进行了一整套场景测试。(对于视频流量、用户交互等高频率高带宽的场景,也同样可以使用WeTest服务器性能测试的的高级模式进行,本文不做展开,尽请期待后续干货。)

测试前的思路梳理

一般来说,对于活动中的功能节点,测试过程中通常关注两点:

  1. 单接口压测,提前暴露核心模块的问题
  2. 多接口架构问题,场景压测尽量模拟真实用户行为,使得压测结果更有说服力

对于这次活动,NOW直播的思路也同样是通过简单的HTTP单接口和复杂的多接口场景压测,通过压测工具给后台和客户端APP增加压力源,帮助发现问题。

测试的执行

  1. 单接口压测——步步为营,逐渐迭代 单接口压测的原理很简单,就是不断的对某个功能接口不断加压,直到发现出现问题的那个极限就可以,在腾讯WeTest服务器性能测试上,操作如下: 1)点击压测产品首页中的快捷入口:HTTP直压。模式选择简单模式,名称和描述可以自己填写。(图中示例起始人数50人,每隔60秒增加50人,加到200人为上限)
    2)新建一个客户端请求,接口压测包括读写接口,读接口基本是GET请求,写接口基本是POST请求。GET请求使用url请求参数,POST请求使用x-www-form-urlencoded方式传递参数,在这里NOW直播方法选择GET,填写想要测试的URL。
    3)编辑一下测试模型,增加一个场景名,单接口测试只测试一个功能接口,因此模式选择“单场景”,压力百分比设置为100%。
    通过这样的压测方式,不断增加服务器压力,直到找到瓶颈位置,腾讯WeTest为NOW直播实现了2W/s的并发量,满足了NOW直播的并发需求。
  2. 多接口压测——真实模拟,定位问题

多接口压测的主要逻辑,就是通过构建不同的功能接口,模拟用户的真实行为,从而帮助开发者定位接口问题。

NOW直播的测试方式是通过GET请求调用一个功能接口,通过这个功能接口随机产生不同行为逻辑的机器人,模拟真实的QQ用户,然后通过POST请求执行具体的业务行为,从而发现功能之间会产生的逻辑问题。

NOW直播测试团队读接口基本是GET请求,写接口基本是POST请求。GET请求使用url请求参数,POST请求使用x-www-form-urlencoded方式传递参数。

在腾讯WeTest 服务器性能测试上,我们可以进行如下操作:

1)首先,通过GET请求,读取一个用户的“登陆态”,通过这个功能接口随机产生不同行为逻辑的机器人,模拟真实的QQ用户;然后通过POST请求依次执行具体的业务行为,从而发现功能之间产生的逻辑问题。

2)在测试场景中输入场景名,NOW直播测试的是“登录-进入房间-点赞”这样三个操作,然后“模式”选择“上下文”,点击“压测场景”,选择调用不同的功能接口。

目前腾讯WeTest服务器性能测试支持同时接入8个场景,更多的场景可以更真实的模拟用户的行为。

总结

通过NOW直播与腾讯WeTest在服务器性能测试方面的合作可以看出,目前的直播应用非常注重两块的内容:一个是单接口的承载能力,一个是多接口的架构情况,对于开发人员来说,前者的问题是好解决的,通过平行扩容的方式就可以做到优化,但是后者的问题则需要在多个功能接口之间不断定位问题,不断尝试新的压力测试,才能找到那个存在的隐患。

基于NOW直播的需求,腾讯WeTest也提升了可同时调用的场景接口,从原来的4个增加到了8个,之后也会不断的增加;并且也不断的增加可以实现的并发数,为用户提供更大的并发压力和更真实的行为场景,节省了更多的测试成本。

做好这些,才能做出更好的直播应用。

腾讯WeTest运用了沉淀十多年的内部实践经验总结,通过基于真实业务场景和用户行为进行压力测试,帮助游戏开发者发现服务器端的性能瓶颈,进行针对性的性能调优,降低服务器采购和维护成本,提高用户留存和转化率。

目前腾讯WeTest服务器性能测试已经正式对外开放:

体验地址:http://wetest.qq.com/gaps/

如何使用简单模式:http://wetest.qq.com/help/documentation/10094.html

如何分析报告:http://wetest.qq.com/help/documentation/10099.html

常用测试指标:http://wetest.qq.com/help/documentation/10098.html

商业转载请联系腾讯WeTest获得授权,非商业转载请注明出处。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小程序·云开发专栏

腾讯相册上了小程序·云开发,不仅不慌而且很爽

小程序·云开发是基于腾讯云研发的全新 云开发 Tencent Cloud Base(简称 TCB) 服务,本文将阐述该解决方案如何帮助公司级业务腾讯相册加快迭代...

1793
来自专栏WeTest质量开放平台团队的专栏

腾讯WeTest首场沙龙问答精选

腾讯WeTest服务于腾讯游戏超过10年,2015年开始对外输出开发测试工具和经验。腾讯WeTest通过系列沙龙的方式,提供纯粹的移动测试开发干货,分享给真正热...

653
来自专栏蓝天

电信系统架构方案

撰文/青润(本文来自《程序员》杂志2003年3期) 国内软件业曾有人对行业性软件进行划分,在几个较大的行业中,排行前几位的分别是:通信、电力、金融…… 但从...

824
来自专栏包子铺里聊IT

[包子分享] 构架模式: Microservices Architecture

http://baozitraining.org ---- ? 微服务构架是近年来比较流行的服务端应用构架,由其非常好的可伸缩性,稳定性以及灵活的协同开发模...

2836
来自专栏Rainbond开源「容器云平台」

【干货下载】谷歌、亚马逊等十大公司精选微服务案例

1466
来自专栏云计算D1net

云存储定价:顶级供应商的价格比较

2354
来自专栏域名资讯

青苹果健康5声母域名惹关注 再获融资

移动医疗平台“青苹果健康”五声母域名qpgjk.com宣布已获得B+轮投资。不过,青苹果健康的域名保护工作并没有做稳妥,与五声母域名qpgjk.com有关的品牌...

370
来自专栏EAWorld

基于统一开发平台的微服务架构转型升级之路 | 某国有大型银行案例

某银行是一家国有大型银行,从2016年开始采用了我们的SOA开发平台作为基础Java开发平台。

872
来自专栏数据和云

电信核心系统去小型机化-去“I”

去“IOE”是一个甚嚣尘上的话题,在经年的渲染之后,很多企业都在以各自的方式在进行演绎。 云和恩墨最近帮助用户实施了一个重要的“去I”项目,引用恩墨一线负责人...

2443
来自专栏数据猿

【案例】恒丰银行——大数据实时流处理平台

数据猿导读 恒丰银行针对商业银行在风险、营销、科技运维、内控管理方面对实时数据处理能力的需求,基于实时流处理相关技术,构建全行统一的实时流处理平台,有力支撑了相...

2986

扫码关注云+社区