首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >解析视频直播平台源码中对-世界杯超大规模场景下的码率控制

解析视频直播平台源码中对-世界杯超大规模场景下的码率控制

作者头像
布谷鸟网络科技
修改2019-03-11 10:59:44
7850
修改2019-03-11 10:59:44
举报

摘要: 这一次的世界杯,与以往世界杯最大的区别在于,有很多互联网用户观看直播,而不是在电视上。在互联网观看直播,互联网的网络条件不一样,观众会看不同码率的视频。所以主要分享下阿里云在直播中怎么做码率控制。

在本月的重庆云栖大会飞天技术汇专场中,阿里云高级算法专家黄海宇分享了题为《超大规模直播码率控制》的议题,从生产的链路角度来说世界杯怎么让观众看到更加清晰的视频。

这一次的世界杯,与以往世界杯最大的区别在于,有很多互联网用户观看直播,而不是在电视上。在互联网观看直播,互联网的网络条件不一样,观众会看不同码率的视频。所以主要分享下阿里云在直播中怎么做码率控制。

分享分三个部分,首先讨论一下为什么要关注码率控制、其次是宏观上怎么做码率控制,最后是介绍下微观上怎么做码率控制。

为什么我们要关注码率控制

我们先看一下个直播的一个简单的过程。

世界杯通常会拿到一个非常高清的直播源,它的码率非常大,不太适合在互联网上直接传输。所以整条链路中会有一个视频内容的再生产的过程,这个再生产的过程最重要的就是视频的转码,将这个转成不同分辨率的几个档位。比如说我们看视频有流畅的、标清、高清、超清的视频,这些都是为了让不同网络的用户可以流畅的观看视频。在进行转码以后,视频流会经过CDN放大,很多用户会进行观看。

其中,码率控制是发生在转码这个环节,就是把高清视频进行解码再进行重新编码,视频的转码是一个有损的压缩的过程,把原来的视频进行处理,将里面的细节进行忽略,这样能够以一个更低的带宽去满足用户播放流畅的需求。

码率控制有什么影响

第一,码率控制对清晰度有影响。我们通常的概念是清晰度越高码率越高,要求用户的下行的带宽更高。

第二,码率控制影响用户流畅度的影响,用户播放的网络各不相同,当用户的带宽大于视频码率时,才够流畅播放。

第三,码率控制的影响是成本的影响,在整个世界杯直播的过程中,最大的费用在CDN带宽上,CDN的总带宽消耗为不同的码率以及这种码率并发在线人数的乘积之和。

所以我们的问题是用户的网络是有限的,我们如何在有限的网络下最好的控制码率,提供给用户最清晰的视频。

宏观码率控制

下图是一个在世界杯期间直播的例子,左边是另外一个直播平台做的一个视频直播,右边是优酷上面的。可以清楚的看到左边的视频在抢角球的场景是很模糊的,而右边的视频是看起来比较光滑和细腻的,这两个视频是相同的码率,左边是1080P的2.5M,右边是720P的2.5M,但是为什么会出现这样的场景?

我们先看一下整个视频编码的过程是怎么样的:

下图上面这条线是一个1080P的视频转成1080P的视频进行播放的一个流程,首先是解码,这一步是不会有视频清晰度的损失的;然后是视频的编码,比如说一个视频25帧,需要把这25帧的图像编码成3M的1080P的图像,在这个过程中,为了保证输出码率为3M,有大量的细节损失;第三步是这个视频经过了CDN网络的传输到达用户的播放器,用户会进行解码播放,这一步是没有信息的损失。最后一步是播放器的渲染,这一步也没有信息损失。

我们再来看720P转码,经过1080P的视频解码,下采样到720P,720P编码,传输,解码,最后在播放器端进行上采样,重新编成1080P以及渲染的过程。这个过程中有两次的视频清晰度的损失,第一次是发生在上采样以及下采样的过程中,这个信息实际上是一个固定的损失,它和我们的采样算法有关系;第二是在720P的图像编码成3M的视频中发生的。为什么1080P不如720P清晰,是因为在720P编码中,我们可以把720P的每一个象素都描述得非常清晰,这部分的信息损失加上采样的信息损失只和小于1080P编码时的信息损失。

所以总结一下我们需要控制码率。码率控制的目的就是在一定的带宽条件下,需要使每一个比特都能够发挥它的作用,把它分配到最需要他的地方,从而提升用户的观看体验。

说到把每一个比特分配到最需要它的地方,通常会有很多方式,在整个编码过程中什么地方有信息的损失,就可以在哪里做。比如:

第一是在分辨率做文章,对给定的码率,可以选择不同的分辨率进行调整。

第二是在帧率做文章,对给定的码率,可以选择不同的帧率。

第三是在视频中码率在不同的帧间进行码率分配,对于复杂的场景,分配更多码率,对于简单的场景,分配较少的码率。

第四是在帧内进行码率分配,在一帧之内,根据图像的复杂程度和人眼敏感程度进行码率分配。

在世界杯实现的场景中,要考虑到播放器的兼容性,使用的是分辨率、帧间码率,帧内码率的优化手段。

宏观码率控制——分辨率

首先看一下在宏观的码率选择上,如何去根据码率选择一个最佳的分辨率。

这是一个对世界杯的视频做的试验,采用不同的分辨率来进行编码,相同的码率进行编码。上图可以看到信息的损失量,我们可以在相同的码率下,随着我们的分辨率的增高,实际上视频的清晰度逐渐升高。到了一个最高点以后,反而会由于视频的分辨率的增加,它的清晰度会降低。这也验证了之前我们看到例子。

所以根据这样一条曲线可以得到分辨率和码率的模型,对于任何一个分辨率可以找到一个最佳的码率。在实际上世界杯的这个场景中,我们把视频分成了很多码率,在给定的任意一个码率上我们都能找到相应的分辨率。

如果关注过阿里云的直播,会看到转码的建议上会给出很多不常见的分辨率,比如说432P、648P这样的分辨率,这些分辨率通常能在相应档位的码率上得到很好的清晰度。

微观码率控制——帧间码率

说到微观上的码率控制的时候,第一件事情就是如何将码率在很多帧间进行分配。

上图给出了多种码率分配的算法,第一个算法是传统的CBR,就是说不管视频的变化是怎么样,统一采用相同的码率对视频进行编码,尽量做到每一秒的码率是相同的。CBR是途中的红线,我们可以看到实际上视频清晰度的损失波动非常大,在红线中可以看到高的时候可以非常高,低的时候非常低。在播放的时候肯定不希望能够看到一个清晰度剧烈抖动的视频,这对人眼的观看是极其糟糕的,于是我们尝试用一种叫CQP的方式进行视频编码,这实际是确定了视频编码的量化步长,这个情况下可以得到清晰度相对稳定的视频。但是采用这种编码不是没有代价的,采用CBR时码率比较稳定,但是采用CQP,在画面比较复杂的地方,为了把这个清晰度提高,码率就会非常高,可以看到,在右图中,CQP(绿线)的码率飙到了12mbps,这对普通用户来说显然是不可以接受的。所以最终采用了VBR+VBV的方式。当使用VBR+VBV的控制策略以后,蓝线比红线的码率质量波动会稍微好一点,VBV模型也能保证用户带宽在达到VBV指定最大码率时,视频一定能够流畅播放。

VBR的烦恼

VBR在大规模直播中也会带来一些问题,这张图是在世界杯的开幕式的时候一张CDN的带宽的分布图,横坐标是时间,纵坐标是CDN的带宽。

这个图就可以看到两个非常明显的波动,第一个发生在中场休息,第二个发上在23:00,开幕式结束,比赛正式开始前。第一个波动很好解释,因为中场休息时很多观众离开,中途的精彩进球会回来一部分观众,下半场开始又有很多观众继续观看。在前面的波谷就不太好解释了,通过观察了码率的分布图,我们发现当时码率非常低,实际上,在这段时间正好是普京讲话,这是一个相对静止的画面,由于采用了VBR,码率发生了剧烈的波动,从而引起带宽剧烈波动。

这种波动对通常的直播是没有问题的,不同的用户在看不同的直播,所以码率的峰值叠加起来会趋向于码率的平均值。但是世界杯的场景下,有70%的流量都观看相同的直播内容, CDN的带宽非常高,这使得CDN的带宽随着码率的波动而波动。通常的CDN通常会使用当前的水位来评估一个新进用户应该放在什么CDN节点,或者说根据一些历史的状况估计CDN放在什么节点。在世界杯中,这个问题通过CDN引入新型的调度策略来解决。

帧内码率分配

帧内码率分配考虑的是如何在一帧图像内对码率分配,以得到最好的视觉效果,我们会根据人眼的关注点来调整码率分配。在上图中,人眼关注的重点毫无疑问是梅西的头像,人眼可能会对后面虚化的内容不关注。所以在做转码处理的时候,会优先考虑这个图像的聚焦区在那里,在这些地方提高它的码率。另一方面,人眼对规则的纹理非常敏感,这部分也需要分配更多的码率,而在脱焦区域,我们会适当的减少一些码率。通过上述手段,整个视频的码率没有上升,但人眼的主观感觉会更清晰。

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 为什么我们要关注码率控制
  • 码率控制有什么影响
  • 宏观码率控制
  • 宏观码率控制——分辨率
  • 微观码率控制——帧间码率
  • VBR的烦恼
  • 帧内码率分配
相关产品与服务
云直播
云直播(Cloud Streaming Services,CSS)为您提供极速、稳定、专业的云端直播处理服务,根据业务的不同直播场景需求,云直播提供了标准直播、快直播、云导播台三种服务,分别针对大规模实时观看、超低延时直播、便捷云端导播的场景,配合腾讯云视立方·直播 SDK,为您提供一站式的音视频直播解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档