【视频编码】 Content Aware ABR技术(七)

在本系列前面的帖子中,我们连续梳理了Netflix、YouTube、Beamr、EuclidIQ、Bitmovin及Harmonic在CAE(Content Aware Encoding) for ABR方面的一些进展,本文将简要介绍一下编码优化领域的另一位成员—V-Nova在这方面的技术动态。

目前视频行业正在经历一段由互联网推动的加速期。据思科最新的一项年度调查显示,到2020年,视频内容将占所有网络流量的大约80%,即每秒种将传输近百万分钟的高清视频,其中20%左右是UHD/4K视频。然而,目前的网络带宽比较有限,视频内容的存储和传输对于视频服务提供商来说是很大的一项支出。如何将海量视频内容高效地压缩、存储并传输到网络带宽不同、终端设备各异的用户仍是不小的挑战。

本文所要介绍的编码公司V-Nova,总部位于伦敦,其经过多年研发的视频编码优化解决方案---Perseus,宣称在实际运营环境中相比H.264具有平均高达2到3倍的性能增益。IPTV运营商Sky Italia在2016年采用V-Nova的Perseus技术后无需对已有的编码设备和终端机顶盒做任何改动,传输的码流相比H.264有明显的码率节省。通过将其SDK集成于Harmonic的编码器ViBE VS7000,HD视频的码率从原来的8Mbps平均降到了4Mbps左右(注:Harmonic随后也推出了自家的CAE技术—EyeQ,见本系列上一帖子)。码率的降低使得网络带宽较低的用户也可以流畅体验Sky Italia的视频服务。此外,印度一家电影内容商FastFilmz通过Perseus技术为Android移动用户传输超低码率的视频流。与此同时,Thaicom一直在试用V-Nova Perseus,以便将多个超高清频道复用在一个卫星转发器上。高端体育赛事转播对于全球运营商而言仍然是宝贵的业务。然而,很少有运营商能够在较低比特率的情况下提供超高清体育直播节目。使用Perseus技术能够帮助运营商以低比特率传输超高清视频内容,而不会影响用户正常的观看体验,也不会增加延迟。这些案例也从侧面说明了Perseus技术高效的压缩传输性能。下面将简要介绍Perseus技术的大体情况(尚未获得技术细节资料)。

Perseus技术通常分为两种,一种是仅使用V-Nova压缩算法用于V-Nova的编码器,称为Pure Perseus;另一种是和其他编码技术混合使用,称为Hybrid Perseus。Hybrid Perseus能够较好地兼容市场上现有的编解码器,易于部署和使用,可以提供比单个Codec更优的性能。基于Hybrid Perseus的OTT应用框架如图1所示,在编码端和解码端,Perseus作为一个插件程序嵌在编码器和解码器上,后处理服务器和内容分发服务器不用做任何改动。集成了Perseus技术的编码端首先编码源视频产生基本的低分辨率或质量级的H.264码流(如960x540,称为基本层),然后Perseus模块将在低版本码流的基础上增加额外的细节信息产生高分辨率版本(如1920x1080,称为附加层)。这一技术源于其收购的视频影像专业厂商Faroudja Enterprises Inc。这使得Perseus编码的码流能在解码端能根据实际需要产生不同分辨率的视频序列。Perseus的层次结构意味着在单一码流内包含了所有质量等级(LOQ,levels of quality),并且能够在同一个帧内在不同LOQ之间无缝切换,这种特性称为层次适应性。随着码率的降低,图像质量会平缓过渡,而不会出现明显的块效应失真。因此,这种“分层架构”允许运营商可以在同一个视频流中同一时间以不同的帧率(如果需要)携带UHD、HD和SD视频数据。通常在Perseus码流中,基本层(低分辨率版本)会占到70%-80%的文件大小。而解码端的处理与编码端类似,本地解码器首先解码基本层的H.264码流,然后再交由Perseus模块处理附加层信息。如果解码端没有Perseus模块将会忽略附加层信息,解码的视频将处于较低的分辨率和质量。此外,在有GPU加速模块的解码端,Perseus能够利用GPU模块加速解码H.264码流,使得CPU的占用率不到解码HEVC码流时的一半。这个特性使得类似FastFilmz的运营商利用Perseus技术编码分发的H.264视频流能够在廉价的Android终端或机顶盒设备上快速解码。

图1 利用Perseus技术的OTT应用框架

下面给出某公司关于V-Nova Perseus编码技术的评估测试结果。测试时选取了4个具有不同内容特性的视频序列,包含快速运动和高质地复杂度的场景。为了增加测试难度,这些源序列在拍摄和制作的过程中还加入了一些相机运动以及镜头切换,基本涵盖了不同类型视频的多种特性。这些序列时长为10秒,帧率为50fps,分辨率高达4K,均为10比特4:2:2 YUV格式。通过V-Nova的P.Link 2.0设备进行编码和解码,编码的码率点从75Mbps到300Mbps不等(注:这么高的码率,用于专业的Contribution场景)。解码后的视频与原视频一起通过Video Clarity ClearView质量分析仪进行评估,并使用SDI接口输入到索尼的PVMX300 30英寸4K TRIMASTER LCD专业监视器。在主观测试环节,每个序列由7位经验丰富的测试者进行打分(注:ITU BT.500要求有效测试者数目大于15),每个测试者允许从任意距离、并排或无缝分屏、不限次数地对每个序列进行反复评估,这样使得测试者可以更加仔细地观察解码视频和源视频的差异。打分结果分为9分制,分值越大主观视觉质量越高。最后,每个测试序列的打分的平均值作为该序列最终的MOS分。

主观测试结果如图2所示。从图中可以看出Perseus编码的视频的MOS分平均都在8以上,相当于5分制中的4.5分。在总共168(4x6x7)个测试结果中,最低的打分为7分,占到23个,这个分值表示轻微的可察觉失真但不明显。如果打到7分以下,则说明解码视频出现了可以分辨的视觉失真。其中分值为8的测试结果有24个,这个分值表示开始出现视觉失真的临界点,测试者此时不能完全肯定可以察觉到失真。剩下121(72%)个测试结果的打分都为9分,表示任何视觉失真或质量降级都是不可察觉的,测试者无法可靠地区分出源视频和解码视频。另外,在每种格式(分辨率帧率)下随着码率的增加,MOS分也在增加,而同一格式下的最低码率为该格式下视觉无损编码的平均最低码率。

客观指标PSNR的测试结果如图3所示。通常PSNR结果在35dB以上的解码视频序列失真相对较少,而在50dB附近的序列基本上可以认为和源视频没有任何视觉差异,与MOS分打到9分相对应。从图2和图3可以看出,PSNR的计算结果与主观测试结果基本一致。在这些Perseus编码的视频序列中,特别是在最低码率下的编码(1080i25@75Mbps,1080p50@150Mbps,2160p50@200Mbps),主观和客观的评估结果均表明达到了较好的视觉质量。与此同时,与对应的高码率点码流相比,两者主观视觉质量几乎一致,达到了码率节省的目的。

图2 所有测试序列主观MOS打分结果

图3 所有测试序列客观评测结果

目前Perseus的新版本在H.264的基础上添加了HEVC和VP9作为基本层码流,借助HEVC和VP9的优势能进一步提升Perseus的性能。Perseus在最初设计时支持原生16位比特深度,因而可以容纳更高的动态范围和更大的颜色深度。此外,Perseus还加入了时域编码技术以及常用的主观优化技术,有助于提升Perseus码流的主观视觉质量。另外,V-Nova通过收购获得了 Faroudja公司的全球专利组合,其中包括了 bandwidth restoration, deblocking/debanding, upscaling以及noise reduction等多项视频处理方面的技术,这些新技术的加入会进一步改善Perseus的编码质量。新版Perseus兼容完整的视频分发传输体系,包括数字证书管理、HLS和DASH协议以及广告插入等。为了提高Perseus的易用性,V-Nova还推出了基于FFmpeg的Perseus编码器,解码时支持HTML5环境。经过优化的新版Perseus支持低码率传输服务,可以在原来HD流的6-8Mbps码率范围内传输UHD流,在1Mbps附近传输HD流,原来要1Mbps左右的SD流现在可以通过2G/EDGE网络在最低144Kbps左右的带宽下传输。一些代表性的码率点如下图所示:

图4 Perseus给出的不同场景下的典型码率推荐

  • 100Kbps,为移动用户传输视频的最低码率
  • 300Kbps,可靠的移动视频流服务
  • 1Mbps,Full HD移动视频流服务
  • 2Mbps,为xDSL用户传输HD IPTV节目
  • 6Mbps,传输高质量UHD电影流,4K 360/VR沉浸式体验
  • 10Mbps,可扩展的DTH/Cable/Fibre UHD体育赛事服务

此外,根据encoding.com 2017年的全球媒体报告显示(如图5),目前HEVC因为专利授权及移动设备的兼容性等问题其市场占有率只有3%,VP9的占有率为11%,业界许多公司似乎都在期待Open Media联盟最新的AV1编解码器(注:Unisphere Research和Streaming media Magazine近期的另外一个调研报告中HEVC的比例为25.1%,参见本公众号的上一个帖子)。而H.264仍是市场上广泛应用的Codec,有79%的占有率,因此在目前的时期类似Perseus的高效编码优化技术仍有大展身手的机会和空间。

图5 目前各类Codec市场占有率

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-02-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏镁客网

牛津大学研究团队发文,称常温保存系统更利于肝脏移植 | 黑科技

1212
来自专栏人工智能

使用Botkit和Rasa NLU构建智能聊天机器人

我们每天都会听到关于有能力涉及旅游、社交、法律​​、支持、销售等领域的新型机器人推出的新闻。根据我最后一次查阅的数据,单单Facebook Messenger就...

1.1K9
来自专栏Jerry的SAP技术分享

机器学习在SAP Cloud for Customer中的应用

关于机器学习这个话题,我相信我这个公众号1500多位关注者里,一定有很多朋友的水平比Jerry高得多。如果您看过我以前两篇文章,您就会发现,我对机器学习仅仅停留...

1222
来自专栏一名叫大蕉的程序员

手把脚教你实现第一个在线预测系统No.21

本来呢,最近看了人类简史,想写一篇偏见相关的,思路还没整理好不好放出来,先写个技术的吧。最近真是忙成狗,搬职场,找房子租,参加各种各样的会议,还有开发任务,做屁...

18410
来自专栏挖掘大数据

如何利用已有的大数据技术,搭建机器学习平台

人脑具备不断积累经验的能力,依赖经验我们便具备了分析处理的能力,比如我们要去菜场挑一个西瓜,别人或者自己的经验告诉我们色泽青绿、根蒂蜷缩、纹路清晰、敲声浑响的西...

4340
来自专栏新智元

【机器学习看裸照】谷歌、微软、亚马逊,哪家图像API鉴黄能力强?

【新智元导读】如今,网络中每天会产生海量的图像文件,而对于这些图片进行安全性鉴定是非常有必要的。很多公司都会使用图像鉴定API对裸露或违法照片进行自动过滤和修改...

883
来自专栏Albert陈凯

CPU与GPU区别大揭秘

有网友在网上提问:“为什么现在更多需要用的是 GPU 而不是 CPU,比如挖矿甚至破解密码? ”以下是比较准确靠谱的回答:   1、现在更多被需要的依然是CP...

4083
来自专栏申龙斌的程序人生

如何在6-8小时之内读完300页的书?

Michigan大学的一位老师Paul N. Edwards写了一篇学术文章《How to Read a Book》,当前已经更新到v5.0版本,个人感觉好过另...

36510
来自专栏媒矿工厂

高帧率视频标准与规范简介

帧率(High Frame Rate, HFR)是指利用比正常帧率(如24帧/秒)更高的技术拍摄而成的影片。欧洲已经对高于每秒50帧的视频有了广泛的研究。

790
来自专栏数据冰山

DOTA2先干掉中路一塔后有多大胜算?

我是过来人,道理我都懂。大家其实是希望我给一个故事完整、过程清晰、内容详实的DOTA2数据分析例子,这样学起来才会有顺藤摸瓜的感觉,比起摸着石头过河,能够少踩一...

1234

扫码关注云+社区