【视频编码】Content Aware ABR技术(八)

在本系列前面的帖子中,我们连续梳理了Netflix、YouTube、Beamr、EuclidIQ、Bitmovin、Harmonic及V-Nova在CAE(Content Aware Encoding) for ABR方面的一些进展,本文将简要介绍一下编码优化领域的另一位成员—思科(Cisco)在这方面的技术动态。

前言

如今,视频行业正在经历着前所未有的变化,随着IP连接设备逐渐具备了传输处理高质量视频的能力,更多优质的视频直播内容得以分发和传播,视频直播也越来越受到大众的青睐。同时,使用了ABR技术并通过HTTP协议进行传输的在线视频的增加也带来了新的挑战,那就是如何在有限带宽的条件下为用户提供同等的高质量的视频体验。通常使用的ABR技术会产生恒定码率的视频流,从视频质量的角度而言往往会造成带宽预分配过多的情况。另外,由于实际带宽会随着波动的网络环境而变化,使用传统的ABR技术无法传输恒定质量的视频。

业内人士越来越关注产生恒定质量而不是恒定码率视频流的ABR编码新方法,这些方法有望优化带宽利用率,减少视频流的存储成本,提高视频图像质量,方法的核心在于指导ABR编码的Content Awareness。

Cisco®智能码率控制技术使得Cisco Virtual DCM编码器(如图1所示)可以编码传输恒定质量的ABR直播视频流。该智能码率控制算法利用了基于Cisco专利技术的Content Awareness来生成度量视频质量的客观指标SVQ(Stream Video Quality)。思科宣称其SVQ是行业领先的无参考视频质量基准指标(具体技术细节有待进一步调研)。

图1 Cisco Virtual DCM编码器

无论是有线传输还是移动网络传输,Cisco的智能码率控制都能起到优化带宽传输性能和降低成本的作用,特别是对于带宽成本消耗更高的移动网络传输而言,它的作用会更加显著。

恒定码率的ABR存在的问题

当前使用的ABR技术基于的前提是编码器的输出配置文件设置为恒定的码率和变化的图像质量,当图像内容不是太复杂的时候,这种方法会导致带宽的过度消耗,因为我们可以使用更低的码率来实现相似的图像质量。以图1中的情况为例,使用CBR配置文件的传统ABR技术对一个场景简单的序列进行编码,码率设置为4 Mbps,编码器可能无法充分利用可用的带宽资源,因此需要用数据填充码率偏小的点以生成恒定码率的视频流。

图2 传统的ABR编码示例

Cisco的SVQ指标

Cisco Virtual DCM编码器平台上的Cisco智能码率控制功能在保持一致的视频质量的同时实现了带宽的节省,智能码率控制使用了Cisco的专利---SVQ指标,用于表征编码配置文件中的质量等级。

从实用角度来看,将SVQ作为智能码率控制算法的组成部分使得在视频处理链的任一点处实施智能码率控制都很简单,SVQ具有以下的特点:

  • 无参考测量:计算处理后的视频质量时只需要用到经过处理的输出信号,简化了视频质量的测量。
  • 简洁并且计算量小:只需要有限的处理资源,是实时/直播流中限制开销的理想选择。
  • 在使用了不同数据库的大量测试中,与主观质量的测量结果高度相关。

为了与行业中常用的客观评价指标进行对比,Cisco对SVQ指标的性能进行了评估,使用的测试对象为编码研究中常用的测试数据库,即德克萨斯大学LIVE数据库中的AVC和MPEG-2部分视频序列。表1给出了不同客观评价指标的SROCC(Spearman Rank Oder Correlation)值,我们知道SROCC值的大小可以表示与主观评价结果的相关程度。从与主观评价结果相关性的角度来看,对于所有格式(MPEG-2,AVC,HEVC)的视频,SVQ在上述数据库上展示了比较理想的性能。

表1 在LIVE数据库上各视频质量指标的SROCC值

SVQ的范围为[1,10],值越小表示视频质量越差,反之亦然。图3展示了在不同质量配置下编码得到的一帧图像以及与每一个质量等级相对应的SVQ值。从图中可以看出,SVQ值与每一帧的主观质量匹配程度较高。

图3 不同的SVQ分数设置的示例

Cisco的SVQ指标已经集成到了Cisco Virtual DCM中,为了方便视频质量的监控,Virtual DCM提供了编码后的每一帧图像或每一片段的SVQ分数,如图4所示,使用开源监控工具Grafana在仪表盘上进行了直观展示。

图4 Virtual DCM输出监控的SVQ

智能码率控制在ABR中的应用

在一个典型的ABR框架中,单一视频源会提供给ABR客户端多个CBR编码配置文件。在Virtual DCM ABR编码器中集成的智能码率控制部分会输出包含了每一个片段的SVQ分数的恒定质量配置文件。集成了智能码率控制的编码器为每一个配置文件设置了一个最大的码率(cap bit rate),作为编码器的码率上限,此外还为每一个配置文件指定了对应的质量等级指标。

在ABR传输中使用智能码率控制后,ABR客户端播放器会接收到一个文件,它描述了用于视频解码的配置,然后客户端播放器就可以根据网络环境和缓冲区充盈度从相关的配置文件中下载所需要的视频段。

在ABR流式传输环境中,应用智能码率控制功能有两个主要的用例:第一,智能码率控制在视频的传输和存储中可以节省带宽;第二,在维持当前的码率预算(传统ABR技术中使用的码率)下,智能码率控制可以提供更好的用户观看体验。在这两种用例中,与传统的ABR技术相比,智能码率控制实现了更加一致的视频质量体验。

在带宽节省的用例中,目标是使每一个配置文件的最高码率相同并把它作为码率的上限,同时依赖场景简单的内容来节省比特数,基于指定的SVQ指标,解码视频的感知质量相对于传统的ABR技术保持不变。图5展示了一个智能码率控制优于CBR配置的例子,CBR配置文件中的码率为4 Mbps,当两种方法传输的码流的SVQ分数非常相近时,使用智能码率控制可以达到52%的带宽节省,平均码率大约为2.0 Mbps左右。

图5 带宽优化的示例

智能码率控制也可以在不增加带宽的条件下提供更好的视频质量体验,在处理偶尔出现的复杂场景时,可以适当放宽码率的上限,示例如图6所示,为了在复杂场景下也能维持一致的SVQ分数,码率的上限提升到了6 Mbps。最后,智能码率控制的最小SVQ质量值大于CBR情况下的最小SVQ质量值,同时带宽还节省了14%。

图6 视频质量优化的示例

图7展示了分别使用传统CBR和智能码率控制编码得到的同一帧图像,注意到在智能码率控制情况下,图像细节有所增加,整体图像质量得到了改善。

图7 视频质量优化用例中解码图像比较

智能码率控制得到一致的视频质量

为了证明使用智能码率控制的码流具有一致的视频质量(SVQ分数),Cisco计算了连续视频段之间的SVQ的波动情况,如图8所示,三条曲线分别对应了三种用例:码率上限为6 Mbps的智能码率控制、码率上限为4 Mbps的智能码率控制以及码率为4 Mbps的CBR。从图中可以看出,CBR的SVQ分数波动最大,表明在视频段之间视频质量的变化较大,而码率上限为4 Mbps的智能码率控制表现出了更好的性能,因为SVQ分数的波动几乎接近0,只在4 Mbps的码率上限处,复杂场景导致了SVQ分数的变化,不过这个问题在码率上限为6 Mbps的智能码率控制用例中得到了解决,由于复杂场景处分配了更大的带宽,该处的SVQ分数波动减小。

图8 视频质量的波动

真实性能

为了测试智能码率控制方法的真实性能,Cisco使用了不同的视频内容来评估它在直播频道中可以实现的码率节省。这些频道使用码率上限为5 Mbps的单一ABR配置文件720p50进行编码,目标SVQ分数设置为9.3,如图9所示,码率节省随着视频内容的不同而不同,电影频道实现了最高48%的码率节省,4个频道码率平均节省了36%。

图9 在直播频道上的智能码率控制

智能码率控制产生的码率优化可以显著降低有线传输和移动网络传输的成本,另外,带宽优化也能够降低用于磁盘存储和播放的基础设施成本。

结论

随着人们对ABR传输中优化带宽利用率和改善用户质量体验这两个问题的关注度日益增加,Cisco基于其专利SVQ技术提出了智能码率控制,在提高视频质量的同时可以优化带宽节省,同时显著降低了成本。

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-02-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BestSDK

WebRTC再升级,网易云信实现多场景实时音视频应用

近年来,直播竞答、网络游戏直播等新的实时音视频通讯场景不断推陈出新,并成为引领互联网娱乐风向的弄潮儿。数据显示,2017年中国在线直播用户规模达到38亿,预计2...

1185
来自专栏即时通讯技术

腾讯技术分享:微信小程序音视频与WebRTC互通的技术思路和实践

本文来自腾讯视频云终端技术总监rexchang(常青)技术分享,内容分别介绍了微信小程序视音视频和WebRTC的技术特征、差异等,并针对两者的技术差异分享和总结...

1102
来自专栏BestSDK

即构音视频SDK:跨四平台、三种类型终端,让直播保持低延迟高画质

说到音视频云服务,大多数人可能联想到的是网络直播应用场景,实际上,硬件对音视频云服务的需求也在逐渐提升。而这样的市场需求也推动了整个行业的发展,目前,阿里云、腾...

3027
来自专栏携程技术中心

中国技术力量:携程的技术演进之路

导语 携程今年动作不断,继5月份收购艺龙后,前不久又宣布了与去哪儿合并,成为国内在线旅游领域当之无愧的霸主。那么一路走来,技术是如何支撑携程成长到今天的地位,我...

32810
来自专栏镁客网

更灵活更真实,Maestro VR手套将玩家的双手带入VR游戏

952
来自专栏即时通讯技术

写给小白的实时音视频技术入门提纲

这是由一篇我的演讲稿整理出来的文章,目标读者是对实时音视频开发感兴趣但是又不知道如何下手的初学者们,希望把我的经验分享出来,对大家有所帮助。

1301
来自专栏Java技术栈

Elastic Search 上市了,市值翻倍,这群人财务自由了!

国庆长假,大部分人还深浸在风花雪月之中,而就在昨天(美国时间10月5号),我们 Java 程序员所熟知的大名鼎鼎的 Elastic Search 居然在美国纽约...

702
来自专栏视频咖

衡量直播平台的推流效果,主要看这5个指标

近年来,网络直播呈现爆发式增长,上百家平台,超百亿规模,3亿多用户,上市公司和明星企业崛起,俨然成为产业。光环加持的背后,腾讯云直播TLive平台,抓住机遇、持...

1972
来自专栏IT派

Python告诉你:知乎上有哪些收入百万的Live

爬取了知乎上所有的Live数据。从Live开播到现在一共是五千多场。分析这些Live的时候,发现很多很有趣的东西,比如有些Live特别长,可以长达数个小时,有些...

693
来自专栏LiveEdu在线科技教育平台

如何成为一名受欢迎的程序员直播者?

在全民直播的时代,你作为程序员也不甘寂寞,投身直播的滚滚浪潮中,成为编程直播者。但为什么有些人的直播很受欢迎,而自己的直播或视频的观众却寥寥无几呢?在livec...

24211

扫码关注云+社区