畅游多编码器世界

本文来自Jan De Cock(Synamedia编解码器开发总监)的LinkIn文章，主题是“Navigating a Multi-Codec World”。

视频分发已成长为一个庞大的生态系统，各大公司出于各种原因推出新标准也就成为了很自然的事情。MPEG在公司、技术和IPR领域的整合方面取得了巨大的成功，特别是在ITU-T加入的情况下。给我们带来了诸如MPEG-2和H.264 / AVC之类的成功案例，并在大多数“传统”广播业务中占据了主导地位。

互联网视频编码标准的泛滥一直存在，大小型的科技公司都在其中扮演着重要的角色，而且其中一些格式（例如Windows Media Video 9）已被标准化（如SMPTE VC-1）。在（非法）下载市场上，诸如MPEG-4 Visual之类的其他格式也很流行。在90年代末和00年代，我们看到它们与RealVideo，TrueMotion VPx，Theora和H.263等格式共存。但是随着互联网上自适应流的引入，AVC成为大多数流服务的首选格式。

在广播和互联网分发中，AVC带来了罕见的技术统治和整合，可以认为是近几十年来最成功的技术之一。这十分少见，类似于被称为“来自未来的外来技术”的JPEG。这让用户的选择从使用哪种视频压缩标准，变成了使用哪个AVC配置文件。

最近，我们又看到了越来越多的碎片。从2010年开始HEVC标准化以来，就已经存在明显优于AVC的技术，但是版权许可的不确定性使得由AVC向HEVC的过渡不断滞后。HEVC现在应用的场景主要是一些优质内容，与此同时，诸如VP9和AV1之类的压缩标准也已站稳了脚跟。在这之后，进一步形成了诸如VVC，EVC和LCEVC以及中国市场的AVS系列等新的压缩标准。

图1-视频压缩标准演进图

业界似乎已经达成共识，我们将继续生活在一个多编解码器的世界中。尽管涉及很多利益关系，但这并不是一场真正的"战争",相反，这是各家公司出于不同原因支持不同编码标准的商业现实。不过，中立的用户不应考虑这些，并且并非我们目前看到的所有标准都将发挥重要作用。某些标准会找到合适的应用场景，而另一些标准将在很长一段时间内继续占据主导地位，并将逐渐被未来的继任者所取代，还有一些会默默消失。这种情况将持续一段时间。

是什么导致了标准的“碎片化”？

AVC取得了巨大的成功，压缩效率比MPEG-2和MPEG-4 Visual有了显著提高，发布时间与视频质量向HD的过渡保持一致，版权许可条款也合理。在过去的二十年中，当时属于联合视频小组的公司已经从参与标准化制订中受益。AVC于2003年进入市场，尽管正式发行有效的软件和硬件编解码器花费了几年的时间，但它们仍然非常受欢迎。到今天为止，AVC一直是通过互联网进行广播和发送比特的主要标准，并且在未来几年中它将继续延续这种格局。

当HEVC于2012年推出时，大量公司，机构和研究人员为该标准做出了巨大贡献，按照理想情况，它定会重复取得和AVC同样的成功。但是定稿之后，等待中的游戏就开始了。等待实时编码器的发布，首先是软件，然后是硬件……但主要是等待专利持有人声明其IPR，并等待专利池宣布合理的专利许可条款。

所以直到2015年，即使在市场上已经有不错的HEVC编码器，市场仍然存在诸多不确定性。许多公司认为改用HEVC似乎是一个十分冒险的尝试，所以几家公司（包括Google / YouTube和Netflix）开始从MPEG编解码器转移。那年，Google推出了VP9，突然之间，VP9成为了HEVC的强大竞争者。VP9的成功让大家形成了一个共识，那就是可能有更好的标准，在VP9的基础上，可以建立一个强大的联合编解码器，AOMedia应运而生。

AOMedia的创始人意识到，超越AVC的压缩标准可以节省大量互联网流量，但是专利许可的原因阻碍了它们的前进，尽管如此，但是视频市场太大，它对整体互联网流量的影响太大，少数专利持有者是无法阻挡这些超越AVC的替代方案的增长势头的。发展缓慢的传统组织终将被技术实力更强，更敏捷的行业组织所取代。

尽管有时AOMedia的“开放性”会受到质疑，但在AV1中，我们看到了一种实实在在的开放标准，其中包含多个（开源）实现，其上市速度比以前快得多。AV1具有与VVC一样的通用性，并且已经适用于流式传输，Web会议和低延迟应用程序等多个场景。

标准取得成功的基本要素是什么？

新的标准一直在不断推出，各公司或研究机构都有各种理由来吹捧他们发布的标准， 一些可能提供了显著的的压缩优势，一些则针对特定用例进行了量身定制，而另一些则声称是免版税的。不管他们如何鼓吹，并不是所有标准都具有取得成功所必需的东西，真正成功的标准往往具有一些共同的特定特征。

1.技术的突破

为了迈向新标准，压缩效率需要一定的提高。可以在相同的比特率下为观看者提供什么样的感知质量？可以为观看者提供更高质量的体验吗？能否以可接受的比特率进行下一步的分辨率处理？通常，问题会被归结于在相同的视频质量下，获得什么样的比特率，可以带来哪些成本节省。对于广播世界来说，升级硬件的成本通常是巨大的，考虑到替换前端系统等庞大的系统开销，在同等质量下将比特率降低50％可能是明智的投资门槛。所以我们看到了越来越多的向软件的过渡，从而缩短了采购周期，并降低了投资门槛。

对于OTT视频，更快地进行创新更有意义。权衡成本与收益，降低20-30％的比特率就足够了。在这种情况下，一旦有好的软件编码器可用，编码的成本通常就不会成为瓶颈， 分发/ CDN成本和体验质量（QoE）成为了关键。

2.对新应用场景的支持

幸运的是，最新的标准大都具有“通用性”，足以支持所有常见的用例。一些标准提供了针对用例的扩展，例如多视图/ 3D和可伸缩编码，在特殊情况下可能需要使用这些扩展。不过通常情况下，标准会被优化到一定的高度，而优化水平可能会触发采用新的标准。这就解释了为什么您仍然看到屏幕分辨率与格式选择（例如标清到高清，高清到UHD和UHD到8K。现在可能是正确的时机，将5G，交互式应用程序和8K（重大事件，例如2021年奥运会）作为下一代格式（例如AV1和VVC）的驱动程序。

3.合理的版权许可条款

对于某些标准，许可条款长期以来都不为人所知，或者专利池变得过分苛刻。没错，您可以在“免版税”周围加上引号，因为从法律上讲，这是永远无法保证的。但是，仍然收到了关于许可更加清晰的信息，并且免版税计划的势头越来越大，巨型公司在这些标准的支持下团结起来。以AOMedia为例，这导致了庞大的财团和专利池的形成。在MPEG中，这导致EVC标准中免版税的配置文件。

4.临界质量

如果一开始没有临界质量，仍然可以在前面的项目中以强大的产品来创建它，但这将是一场艰苦的战斗。围绕VVC的支持者众多，其生态系统得到了迅速的提升。AOMedia中的AV1也是如此。对于AV1的继任者AV2，预计会有更大的AOMedia代表积极地参与其中。在创建这一关键规模时，至关重要的是要牢固地代表客户生态系统，并配备合适的软件/硬件实施公司。对于互联网分发，过去对浏览器的支持至关重要，而现在对于不断增长的移动市场，对主流操作系统（iOS，Android）和移动芯片组的支持可能意味着更加巨大的推动力。

未来会呈现什么趋势？

我们每个人都没有一个预测未来的方法，因此提供绝对数字或详细预测并不现实。但是可以根据不同标准的强度和围绕已存在的期望得出趋势，这些趋势由图2和图3进行描述。

对于当前的标准列表，上一节中提到的技术优势主要体现在AV1和VVC中。在不同的产品阵容中，VVC已显示出最佳的压缩效率。最重要的是，它拥有庞大的贡献者基础。不过，其受接受程度在很大程度上取决于其许可条款。

另一方面，AV1的部署已经在增长。总的来说，免版税编解码器的发展势头十分强劲，有一个庞大的财团不仅在流量方面主导着互联网，而且代表着主要的浏览器和消费类设备。AOMedia不仅拥有经常被引用的原始成员，而且在最近两年中，其他巨头也紧随其后，例如苹果，Facebook和三星。合并后的AOMedia专利组合令人叹为观止。除此之外，还有硬件公司，编码器开发人员以及不断增长的开源社区。唯一缺少的是广播公司的强大存在，这也是Synamedia加入AOMedia的原因之一。

标准的采用方式取决于应用场景，我们仍然希望广播视频和面向OTT的视频能够分开。尽管如此，在两种情况下，更加灵活的基于软件的解决方案推动了越来越多的融合。

图2：OTT生态系统采用标准的趋势

在OTT方面（图2），AVC仍然占主导地位，并被视为回退选项，通过它可以访问几乎所有设备。HEVC的使用相对有限，但是最近有了增加，并且有超过十亿个芯片支持HEVC解码。通常，它被认为是包括4K和HDR / WCG内容在内的高级内容的标准。预计HEVC的市场份额将在未来几年内增长，但随后将再次贬值，转而使用VVC和AV1。鉴于其强大的解码器支持，VP9仍然很重要。Netflix，Twitch和YouTube等公司已经部署了VP9（包括针对Google最近推出的Stadia在线游戏平台），从而使其在互联网上占据了合理的份额。就压缩效率而言，VP9可以被视为HEVC的替代方案。

显然，AV1是OTT世界中一种新兴的标准，越来越多的产品宣称支持AV1。有几种实现方式在压缩效率等方面不断提高（实现包括libaom，SVT-AV1，Google libgav1，Mozilla rav1e以及专有编码器（如Visionular和EVE-AV1））。AV1可以通过合理的CPU编码周期获得比HEVC显著的增益。即使是实时编码，AV1也越来越受欢迎（例如，参见WebRTC的进展以及WebEx的公告），并且硬件支持也在不断增长。由于AV1结合了它们的所有优势，因此具有替代AVC，VP9和HEVC的潜力。预计在未来几年中，AV1将成为互联网视频流量的主导，传统设备的AVC排在其后，而iOS设备高级内容的HEVC则在更后面。

在广播方面（图3），情况有所不同。在许多情况下，必须考虑升级速度较慢的硬件（例如机顶盒）。在其他情况下，广播公司将遵循国家或地区标准，例如ATSC或DVB。因此，新标准的突破将受到政府和标准化组织做出的选择的强烈影响。

图3：广播生态系统采用标准的趋势

显然，AVC在广播中仍占主导地位，但HEVC的发展势头会越来越大，尤其是UHD频道。由于遗留原因，MPEG-2仍然存在，并且实际上有理由继续对MPEG-2编码进行创新（ATSC过渡正在发挥作用，并且是我们提高MPEG-2编码效率的动力）。到目前为止，AV1虽然没有取代HEVC的潜力，但它一直是该领域的重点。很明显，VVC具有很强的优势，可以在未来占据广播市场的很大份额，并且与HEVC相比，它具有足够大的压缩增益，可以视为HEVC的继承者。尽管如此，仍将取决于围绕MC-IF（即媒体编码行业论坛，这是一个促进VVC专利池形成的倡议）正在进行的讨论的IPR持有者和许可条款。在https://www.mc-if.org/上宣布）。4K是HEVC被广泛采用的驱动力，8K可能是VVC采用的动力。尽管业界将朝着如此高的分辨率缓慢发展，但我们已经看到8K电视的销售有所增长，体育赛事可能会加速其采用。

我们的期望是，AVC和HEVC仍将在5年内对市场分而食之，并伴随着一小部分VVC、AV1以及MPEG-2的份额。

如何为OTT部署选择标准？

多编解码器世界格局至少要保留一段时间。对于OTT实施者和发行者而言，提供多种标准，为每个平台和用户提供最高的QoE是很有意义的。尽管如此，在支持的格式方面还是有一个突破点。支持2-3种格式可能是可持续的，并且在目录中提供这些替代品可能是一个不错的选择。支持4-5或更多格式变得非常昂贵，并导致实现和支持上的困难，高昂的存储成本以及CDN上的缓存效率下降。 （即使支持更有效但很少使用的格式，更多的缓存冗余也会导致QoE降低和成本增加。）

最后，如果希望以合理的成本吸引获得最高QoE的客户，必须做出选择。毫无疑问，提供AVC流是重中之重。如果需要提供UHD流（可能具有DolbyVision和HDR10支持），则HEVC可能是一个不错的选择，可以访问高端移动设备和最新的电视机。对于Android设备和浏览器，VP9仍然是一种不错的格式，但是AV1具有更广泛的覆盖范围和更多的压缩性能。

可以从上面的列表中删除HEVC吗？考虑到拥有HEVC解码器的设备数量众多，并且只要iOS不支持VP9或AV1，大概就不行了。VP9和AV1都可以从上面的列表中删除吗？可能不行，除非您想在浏览器上使用AVC。目前，考虑VVC还为时过早，因为高效的客户端解码器还需要1-2年的时间。

其他标准呢？

细心的读者已经注意到，上面的讨论中缺少其它某些标准。这是否意味着他们无法发挥作用？不得不说，EVC之类的标准得到了一些技术公司的支持，这些公司控制着移动芯片组市场的巨大份额。尽管如此，考虑到AV1和VVC有超过EVC两个配置文件的优势，所以这些标准的命运取决于这些公司的策略。三星和高通是否会决定在EVC上投资晶体管，还是在将来简单地跳到AV1或VVC？对于前者，这可能会提高移动客户端上EVC的使用率。 所以EVC和其他标准需要证明它们可以在某些特定领域创造足够的临界质量或收益。

未来何去何从？

MPEG最近发生了重大变化。尽管如此，仍期望MPEG将继续产生高质量的标准以及对VVC的进一步扩展和继承。同时，AOMedia已开始为AV2做准备。最重要的是，公司可能会继续将其专有格式推向标准，以期将其IPR货币化。因此，多编解码器世界将继续存在。

总的来说，很难忽略围绕AOMedia的巨大临界质量，三星和苹果的加入更是导致了这个结果，因为两者都为客户端生态系统带来了巨大的影响。如果当前所有成员从一开始就为AV2做出贡献，并确保他们所有的用例和关注点都得到了解决，那么这可能会产生非常强大的AV2格式，并且在最终定稿之前会受到业界的支持。所以未来可能是光明的，并且比今天更简单。