技术揭秘 | 服务于130+客户的直播SDK是怎样炼成的?

导语:腾讯音视频实验室直播SDK基于QQ音视频多年在音视频技术领域的积累而搭建,广泛应用于公司内外部产品中,如坐拥大量草根网红的快手,电商类头部应用蘑菇街、聚美优品,金融类头部应用大智慧、富途,以及腾讯旗下的NOW直播、QQ空间直播、全民K歌直播、QQ音乐直播、企鹅FM直播等。

该直播SDK也是腾讯2016年下半年“技术突破奖”-新型多媒体业务全链路解决方案联合项目中重要的技术组成部分。

2016年是直播行业充满想象的一年,各类直播软件与平台如雨后春笋般冒了出来。同时伴随着传统直播向移动直播的转变,直播这种成本低廉、部署便捷、互动性高、移动型强的娱乐方式,也迅速地占据了网友大量的碎片上网时间。这不仅诞生了一批全新的、以直播为主业务的平台,同时也为很多垂直行业的APP插上了腾飞的翅膀。 在直播的技术研发上,大公司可以自己组建团队。但中小型公司做直播产品时,还是会遇到不少技术瓶颈,比如:

  • 明星粉丝量大,同一时间涌进观看和互动,对服务器的冲击非常大;
  • 连麦直播中对延时要求很高,数据量稍大就会影响互动体验;
  • 连麦直播中外放状态下的回声问题,也需要长期的技术积累才能很好地解决。

所以,接入一个成熟、稳定、高质量的SDK直播服务方案就成为了中小型直播产品的最优选择。

目前,公司内外部许多平台和产品都采用了腾讯音视频实验室直播SDK。该直播SDK是基于QQ在音视频技术领域的多年积累所搭建的,拥有领先于业界的技术实力与质量保证。同时它也是腾讯2016年下半年“技术突破奖”-新型多媒体业务全链路解决方案联合项目中重要的技术组成部分。

那么,这个直播SDK方案的优势究竟在什么地方?实现了哪些技术创新呢?笔者将推出系列文章逐个来介绍。

我们先来了解下目前业界较为常见的直播音视频技术方案:RTMP/FLV、HLS以及基于RTP/UDP的方案。

从上表来看,似乎不存在一个完美的解决方案可以同时解决延时、抗性、通用性的问题。

鉴于此,腾讯音视频实验室联合腾讯SNG即通平台部一起,提出了一个基于“QQ音视频多人通话”建立的多方案融合的系统。它能够保证主播和连麦互动观众之间的低延时互动——将时延控制在300ms级别、接近于实时通话。同时它实现了一套旁路推流和录制系统,直接通过RTMP/FLV/HLS等格式实现推流,从而满足浏览器播放器和一些流媒体播放器的播放需求。此套方案达到了很好的兼容性

接下来,我们来盘点一下这个系统在具体技术上的各个创新点。

1

秒开技术

大家可能会看到,市面上某些手机直播APP的打开速度非常快,几乎是一点就开。而某些手机直播APP,点击播放后要等好几秒才能播放。这是怎么回事呢?

这就不得不提到“首屏耗时”这个在直播中非常重要的指标。通俗地说,首屏耗时是从第一次点击播放到人的肉眼能够看到画面所耗费的时间,在技术上指的是播放器解码第一帧渲染显示画面的耗时。而通常我们说的“秒开”,是指点击播放后在一秒内即可看到播放画面,无需等待。

毫无疑问,首屏打开越快,用户的体验越好。

首屏耗时主要由两部分组成,一部分是进房时间,一部分是出画时间。

先看进房时间的优化。在进房时间方面,我们通过一系列的提前信令加载机制将信令尽可能的提前,并且将不能提前的部分与设备启动等耗时操作进行并行处理,同时与业务侧进行一系列的联动,通过这些措施把进房速度优化到最优的水平上。

接下来我们看出画时间的优化

小科普:

一个视频(Video),其图像部分的数据是一组GOP的集合,而单个GOP则是一组I / P / B帧图像的集合。I帧是内部编码帧(也称为关键帧),P帧是前向预测帧(前向参考帧),B帧是双向内插帧(双向参考帧)。简单地讲,I帧是一个完整的画面,而P帧和B帧记录的是相对于I帧的变化。如果没有I帧,P帧和B帧就无法解码。

由此,我们很容易想到:如果直播服务器支持GOP缓存,那么客户端在和服务器建立连接后可立即拿到数据,这样可以避免要等到下一个I帧到来时才能出画。但是,这个方案的缺点在于拉取的时间较随机,会带来唇音不同步、播放端延时不稳定等多个问题。为此,我们采取了一套双GOP缓存方案。它能够根据拉取时机更加智能地选择拉取哪个GOP的数据。

做完这些,是不是就可以实现一个非常好的秒开体验了呢?

其实不然。

实测中我们发现,虽然首屏耗时在整体上有了明显的降低,但它非常地不稳定,偶尔会出现耗时非常大的情况。对其原因进行排查,我们发现,这主要是由于接通的瞬间产生了大量数据的推送,此时网络的负载会变得非常大,很容易丢失I帧数据,导致出画需要等到下一个GOP。基于此,我们又做了一系列的保障措施,包括推流速度的人为控制与推流数据的QoS保障机制等。

下图是我们与主要竞品在首屏耗时上的一个数据对比:

2

高音质连麦技术

连麦是互动直播中常见的需求,也是腾讯云互动直播方案中的核心竞争力。我们的方案不仅在直播时能够提供业界领先的音质,同时也能提供一系列支持伴奏、自定义音效、变声、自定义输入、耳返能力等,满足直播用户分享听歌、添加伴奏等需求。

在连麦直播的相关技术中,最困难的莫过于回声抵消技术

回声一直以来都是语音实时处理中的难点。虽然有GOOGLE开源的WebRTC的AECM技术,但其有非常大的局限性。尤其是面对安卓这么复杂的机型环境与ROM实现,在很多场景下该技术都不能达到一个较好的回声效果。此外,尽管iOS的Audiounit自带了回声抵消能力,但系统自带的回声抵消是宽带的AEC,并不支持超宽带的处理——这在实时语音通话中效果还可以接受,但是在直播场景,由于音乐及伴奏较多,我们能够明显感觉到音乐的音质下降。

高音质回声抵消上,腾讯音视频实验室有着丰厚的技术积累:

1、支持高音质回声抵消,在音乐场景下也不损伤音质,完美还原频带

2、基于二进制信号谱线对齐法与音频指纹技术对齐法的双重作用,能够达到更好的信号对齐效果;

3、自研的双讲保护算法,在双讲场景中实现更少的剪切,即使两人同时讲话沟通也无障碍。该算法很好地改善了iOS系统对于部分机型剪切严重的体验;

4、基于OPENSLES与JAVA多套采集播放方案的机型适配选择,实现更稳定的采集播放与更低的采集播放延时,对于部分安卓手机也支持耳返的功能。

5、得益于QQ语音通话的海量数据,我们的技术积累了大量的算法参数,能够实现对不同机型的适配方案,适配超过5000款安卓手机。

基于上述技术,腾讯云互动直播方案在各种场景下的音质始终保持着领先优势。

3

领先的视频引擎

在视频编解码方面,业界目前通用的是X264的编码方案,可以实现相对好的性能,同时支持较多的profile。而腾讯音视频实验室多年来在实时视频中针对264有较多的优化,能够实现比X264更好的性能与效果:

1、低延时高画质的视频压缩质量调优(低延时码率控制、帧类型内核编码策略、灵活自适应的best/fast编码模式);

2、配合网络Qos的编码类型调优(适应网络类型的I/GF/SP/P帧组合机制);

3、arm32/64芯片级的内核性能优化,比开源更省CPU;

在硬件编解码方面,首先我们会有一个优选策略:在合适的分辨率和码率的情况下才会打开硬件编解码。其次,基于QQ视频积累的大量机型数据,我们可以在后台适配更合适的安卓机型去打开硬件编解码,规避安卓硬件编解码中的“编码耗时过长”、“编码码率异常”等兼容性问题,在最合适的场景和最符合的机型中去使用编解码

4

实时质量监控与运营系统

质量监控是衡量一个SDK服务商服务能力的重要环节。大盘质量可分类别监控与个体质量可跟踪能力,是质量监控体系中的两个主要构成部分。大盘质量目前相对标准统一,各家都有提供。而腾讯云互动直播解决方案是基于云端来搭建的,调控策略都放在云端,不必捞取用户log,单例用户质量都可以通过下图中的Monitor监控系统来进行实时排查分析,大大提升了接入用户的使用效率。

本文主要介绍了腾讯音视频实验室在直播SDK方面的技术创新。由于篇幅有限,我们将在下篇系列文章中带来我们的另一个核心技术上的突破——低延时连麦与弱网优化技术,敬请期待!

原文发布于微信公众号 - 腾讯音视频实验室(TencentAVLab)

原文发表时间:2017-03-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ytkah

微信小程序与传统APP十大优劣对比

        随着微信公众平台的开放,微信端小程序涌现市场,带来很很多便利和简单的原生操作,询:微信端小程序是否会替代传统的APP应用?两者的优劣如何?我们一...

2.4K50
来自专栏罗超频道

百度特型搜索来了,解放伪球迷

世界杯将全世界引入看球模式,大量的“伪球迷”们纷纷浮出水面。如何判断一个球迷是否伪球迷呢?如果不知道解说员挂在嘴边的“越位”是什么意思,基本可以算伪球迷了。这一...

33830
来自专栏腾讯社交用户体验设计

聊出一个未来 - 腾讯ISUX

11030
来自专栏BestSDK

即构音视频SDK:跨四平台、三种类型终端,让直播保持低延迟高画质

说到音视频云服务,大多数人可能联想到的是网络直播应用场景,实际上,硬件对音视频云服务的需求也在逐渐提升。而这样的市场需求也推动了整个行业的发展,目前,阿里云、腾...

56570
来自专栏DevOps时代的专栏

2018年 DevOps 最新现状研究报告解读

2018年度的 DevOps 最新研究现状姗姗来迟,但最终还是来了,让我们来看一下这份报告今年会给我们带来那些启示。

33830
来自专栏顾宇的研习笔记

云原生 DevOps

技术雷达是ThoughtWorks每年出品两期的技术趋势报告,新一期即将在5月15日正式发布。本人有幸第三次参与技术雷达的汉化发布工作,并借此机会一览技术前沿的...

22710
来自专栏媒矿工厂

沉浸式媒体相关标准进展概述

1. 前言 目前,AR和VR的出现使得人们可以利用技术不断地去改进描述世界的方法。在这个过程中,人们通过多种多样先进的设备,获得前所未有的“沉浸式体验”。所谓的...

38670
来自专栏携程技术中心

4月热招职位 | 开发/运维/测试/安全/产品/UED

14620
来自专栏携程技术中心

职位推荐 | 一大波技术岗来袭~

24040
来自专栏新智元

清华大学突破量子纠缠接口新纪录,首次实现25个量子接口之间的量子纠缠

19150

扫码关注云+社区

领取腾讯云代金券