【视频编码】 Content Aware ABR技术(七)

在本系列前面的帖子中,我们连续梳理了Netflix、YouTube、Beamr、EuclidIQ、Bitmovin及Harmonic在CAE(Content Aware Encoding) for ABR方面的一些进展,本文将简要介绍一下编码优化领域的另一位成员—V-Nova在这方面的技术动态。

目前视频行业正在经历一段由互联网推动的加速期。据思科最新的一项年度调查显示,到2020年,视频内容将占所有网络流量的大约80%,即每秒种将传输近百万分钟的高清视频,其中20%左右是UHD/4K视频。然而,目前的网络带宽比较有限,视频内容的存储和传输对于视频服务提供商来说是很大的一项支出。如何将海量视频内容高效地压缩、存储并传输到网络带宽不同、终端设备各异的用户仍是不小的挑战。

本文所要介绍的编码公司V-Nova,总部位于伦敦,其经过多年研发的视频编码优化解决方案---Perseus,宣称在实际运营环境中相比H.264具有平均高达2到3倍的性能增益。IPTV运营商Sky Italia在2016年采用V-Nova的Perseus技术后无需对已有的编码设备和终端机顶盒做任何改动,传输的码流相比H.264有明显的码率节省。通过将其SDK集成于Harmonic的编码器ViBE VS7000,HD视频的码率从原来的8Mbps平均降到了4Mbps左右(注:Harmonic随后也推出了自家的CAE技术—EyeQ,见本系列上一帖子)。码率的降低使得网络带宽较低的用户也可以流畅体验Sky Italia的视频服务。此外,印度一家电影内容商FastFilmz通过Perseus技术为Android移动用户传输超低码率的视频流。与此同时,Thaicom一直在试用V-Nova Perseus,以便将多个超高清频道复用在一个卫星转发器上。高端体育赛事转播对于全球运营商而言仍然是宝贵的业务。然而,很少有运营商能够在较低比特率的情况下提供超高清体育直播节目。使用Perseus技术能够帮助运营商以低比特率传输超高清视频内容,而不会影响用户正常的观看体验,也不会增加延迟。这些案例也从侧面说明了Perseus技术高效的压缩传输性能。下面将简要介绍Perseus技术的大体情况(尚未获得技术细节资料)。

Perseus技术通常分为两种,一种是仅使用V-Nova压缩算法用于V-Nova的编码器,称为Pure Perseus;另一种是和其他编码技术混合使用,称为Hybrid Perseus。Hybrid Perseus能够较好地兼容市场上现有的编解码器,易于部署和使用,可以提供比单个Codec更优的性能。基于Hybrid Perseus的OTT应用框架如图1所示,在编码端和解码端,Perseus作为一个插件程序嵌在编码器和解码器上,后处理服务器和内容分发服务器不用做任何改动。集成了Perseus技术的编码端首先编码源视频产生基本的低分辨率或质量级的H.264码流(如960x540,称为基本层),然后Perseus模块将在低版本码流的基础上增加额外的细节信息产生高分辨率版本(如1920x1080,称为附加层)。这一技术源于其收购的视频影像专业厂商Faroudja Enterprises Inc。这使得Perseus编码的码流能在解码端能根据实际需要产生不同分辨率的视频序列。Perseus的层次结构意味着在单一码流内包含了所有质量等级(LOQ,levels of quality),并且能够在同一个帧内在不同LOQ之间无缝切换,这种特性称为层次适应性。随着码率的降低,图像质量会平缓过渡,而不会出现明显的块效应失真。因此,这种“分层架构”允许运营商可以在同一个视频流中同一时间以不同的帧率(如果需要)携带UHD、HD和SD视频数据。通常在Perseus码流中,基本层(低分辨率版本)会占到70%-80%的文件大小。而解码端的处理与编码端类似,本地解码器首先解码基本层的H.264码流,然后再交由Perseus模块处理附加层信息。如果解码端没有Perseus模块将会忽略附加层信息,解码的视频将处于较低的分辨率和质量。此外,在有GPU加速模块的解码端,Perseus能够利用GPU模块加速解码H.264码流,使得CPU的占用率不到解码HEVC码流时的一半。这个特性使得类似FastFilmz的运营商利用Perseus技术编码分发的H.264视频流能够在廉价的Android终端或机顶盒设备上快速解码。

图1 利用Perseus技术的OTT应用框架

下面给出某公司关于V-Nova Perseus编码技术的评估测试结果。测试时选取了4个具有不同内容特性的视频序列,包含快速运动和高质地复杂度的场景。为了增加测试难度,这些源序列在拍摄和制作的过程中还加入了一些相机运动以及镜头切换,基本涵盖了不同类型视频的多种特性。这些序列时长为10秒,帧率为50fps,分辨率高达4K,均为10比特4:2:2 YUV格式。通过V-Nova的P.Link 2.0设备进行编码和解码,编码的码率点从75Mbps到300Mbps不等(注:这么高的码率,用于专业的Contribution场景)。解码后的视频与原视频一起通过Video Clarity ClearView质量分析仪进行评估,并使用SDI接口输入到索尼的PVMX300 30英寸4K TRIMASTER LCD专业监视器。在主观测试环节,每个序列由7位经验丰富的测试者进行打分(注:ITU BT.500要求有效测试者数目大于15),每个测试者允许从任意距离、并排或无缝分屏、不限次数地对每个序列进行反复评估,这样使得测试者可以更加仔细地观察解码视频和源视频的差异。打分结果分为9分制,分值越大主观视觉质量越高。最后,每个测试序列的打分的平均值作为该序列最终的MOS分。

主观测试结果如图2所示。从图中可以看出Perseus编码的视频的MOS分平均都在8以上,相当于5分制中的4.5分。在总共168(4x6x7)个测试结果中,最低的打分为7分,占到23个,这个分值表示轻微的可察觉失真但不明显。如果打到7分以下,则说明解码视频出现了可以分辨的视觉失真。其中分值为8的测试结果有24个,这个分值表示开始出现视觉失真的临界点,测试者此时不能完全肯定可以察觉到失真。剩下121(72%)个测试结果的打分都为9分,表示任何视觉失真或质量降级都是不可察觉的,测试者无法可靠地区分出源视频和解码视频。另外,在每种格式(分辨率帧率)下随着码率的增加,MOS分也在增加,而同一格式下的最低码率为该格式下视觉无损编码的平均最低码率。

客观指标PSNR的测试结果如图3所示。通常PSNR结果在35dB以上的解码视频序列失真相对较少,而在50dB附近的序列基本上可以认为和源视频没有任何视觉差异,与MOS分打到9分相对应。从图2和图3可以看出,PSNR的计算结果与主观测试结果基本一致。在这些Perseus编码的视频序列中,特别是在最低码率下的编码(1080i25@75Mbps,1080p50@150Mbps,2160p50@200Mbps),主观和客观的评估结果均表明达到了较好的视觉质量。与此同时,与对应的高码率点码流相比,两者主观视觉质量几乎一致,达到了码率节省的目的。

图2 所有测试序列主观MOS打分结果

图3 所有测试序列客观评测结果

目前Perseus的新版本在H.264的基础上添加了HEVC和VP9作为基本层码流,借助HEVC和VP9的优势能进一步提升Perseus的性能。Perseus在最初设计时支持原生16位比特深度,因而可以容纳更高的动态范围和更大的颜色深度。此外,Perseus还加入了时域编码技术以及常用的主观优化技术,有助于提升Perseus码流的主观视觉质量。另外,V-Nova通过收购获得了 Faroudja公司的全球专利组合,其中包括了 bandwidth restoration, deblocking/debanding, upscaling以及noise reduction等多项视频处理方面的技术,这些新技术的加入会进一步改善Perseus的编码质量。新版Perseus兼容完整的视频分发传输体系,包括数字证书管理、HLS和DASH协议以及广告插入等。为了提高Perseus的易用性,V-Nova还推出了基于FFmpeg的Perseus编码器,解码时支持HTML5环境。经过优化的新版Perseus支持低码率传输服务,可以在原来HD流的6-8Mbps码率范围内传输UHD流,在1Mbps附近传输HD流,原来要1Mbps左右的SD流现在可以通过2G/EDGE网络在最低144Kbps左右的带宽下传输。一些代表性的码率点如下图所示:

图4 Perseus给出的不同场景下的典型码率推荐

  • 100Kbps,为移动用户传输视频的最低码率
  • 300Kbps,可靠的移动视频流服务
  • 1Mbps,Full HD移动视频流服务
  • 2Mbps,为xDSL用户传输HD IPTV节目
  • 6Mbps,传输高质量UHD电影流,4K 360/VR沉浸式体验
  • 10Mbps,可扩展的DTH/Cable/Fibre UHD体育赛事服务

此外,根据encoding.com 2017年的全球媒体报告显示(如图5),目前HEVC因为专利授权及移动设备的兼容性等问题其市场占有率只有3%,VP9的占有率为11%,业界许多公司似乎都在期待Open Media联盟最新的AV1编解码器(注:Unisphere Research和Streaming media Magazine近期的另外一个调研报告中HEVC的比例为25.1%,参见本公众号的上一个帖子)。而H.264仍是市场上广泛应用的Codec,有79%的占有率,因此在目前的时期类似Perseus的高效编码优化技术仍有大展身手的机会和空间。

图5 目前各类Codec市场占有率

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-02-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据的力量

如何构建用户画像

1436
来自专栏AI科技评论

开发 | 小米再开源!这次是移动端神经网络框架基准测试项目 MobileAIBench

继小米在 6 月宣布自研的移动端深度学习框架 Mobile AI Compute Engine (MACE:https://github.com/xiaomi/...

653
来自专栏计算机视觉life

智能手机双摄像头工作原理详解:RBG +RGB, RGB + Mono

前一篇介绍了为什么会出现双摄像头(简称双摄)手机以及它的典型应用,下面来分析一下双摄的工作原理。 由于双摄技术的快速发展,目前已经衍生出了几种不同的双摄硬件和...

23110
来自专栏互联网数据官iCDO

分析Facebook上的视频广告的三种思路

译者:李子怡 你的Facebook营销战略中有视频的一席之地吗? 想了解在Facebook中视频如何为你服务吗? 想在FB上制定合理的视频投放决策,就要先弄清楚...

4238
来自专栏CDA数据分析师

案例 | 如何做商品信息数据分析和展现?

商品价格和人们生活息息相关,比如农产品价格波动不仅会对农民收入和农民生产积极性产生直接影响,更关乎百姓的日常生活和切身利益。经常看新闻看到农民辛苦了一个季度的农...

2059
来自专栏大数据文摘

用户画像数据建模方法

1976
来自专栏机器之心

资源 | Mozilla开源语音识别模型和世界第二大语音数据集

3488
来自专栏区块链维基

零知识证明,区块链隐私保护利器

零知识证明是一种基于概率的验证方式,验证的内容包括“事实类陈述”和“关于个人知识的陈述”。验证者基于一定的随机性向证明者提出问题,如果都能给出正确回答,则说明证...

532
来自专栏AI科技评论

业界 | 担心隐私泄露?微软亚洲研究院发布PrivTree项目保你安全

2011 年微软进行的一项调查显示,有 94% 的用户认为基于地理位置的服务具有价值。但是调查中也显示,52% 的人也关注与使用地理位置数据有关的隐私问题。 我...

2836
来自专栏互联网数据官iCDO

6个分析方法快速诊断搜索竞价排名(SEM)的表现

  这篇文章给需要快速了解一个账户的朋友们使用。这六个方法分别是:“一九”分布、消费和转化的四象限、转化分解、核心词互动度与ROI的气泡图分析、单页推广的核心词...

2605

扫描关注云+社区