编解码器发展近况

本文为媒矿工厂编译的技术文章

原标题：Encode/Decode – Bits per Buck

原作者：InBroadcast

原链接：http://europe.nxtbook.com/nxteu/lesommet/inbroadcast_202004/index.php#/56

翻译整理：徐鋆

视频压缩，直播或基于文件的，都是为了产生最低成本和高质量的最终图片给越来越挑剔的观众，特约编辑 Adrian Pennington如是说。

Bitmovin的调查数据显示，虽然H.264/AVC作为2019年使用最多的codec，依然是在线流媒体的支柱，但是市场正在转向MPEG的下一代H.265/HEVC，也计划实施具有相同表现的非MPEG标准：AV1，这两者都可以在相同比特率下加倍压缩效率。

在AV流媒体标准方面，事情进展得越来越快，尤其是因为市场对以更高质量和更低成本下传输更多容量的需求的骤增。

MPEG将于今年晚些时候批准两项新标准，这在一定程度上有助于解决这一问题。

MPEG-5 Essential Video Coding/EVC将具有与HEVC大致相同的性能。它将提供一个免版税的基本版本，使用已过期的专利许可证，并提供一个具有更高级的功能的版本，用户可以选择付费或不付费。

EVC需要的硬件实现，可能至少需要几年时间才能在包括电视机和智能手机在内的设备上得到初步采用。

LCEVC是一个对已有编解码器（AVC,HEVC, EVC, VVC）的软件附加，旨在提高底层硬件编码器的性能。这个解决方案是基于V-Nova公司的Perseus Plus压缩技术，对于公司来说，这是比在该领域更换设备更便宜的选择。

Versatile Video Codec/VVC是来自MPEG的下一代编解码器，目标是沉浸式媒体应用，如VR和8K。这也将需要硬件实现，目前还没有关于成本的消息，预计它将获得许可，每个人都希望避免再次发生像HEVC般不透明的专利池管理。

遵循标准和使用成本，AV1的发起者，包括所有FAANG成员在内的开放媒体联盟先前宣布，该编解码器是免费的。这正受到Philips、Ericsson Dolby和Orange等公司的挑战，他们表示，AV1包含了它们的一些专利。

这方面的专利池以及成本（包括智能手机在内的显示设备的成本为0.24欧元，如果算上苹果卖出多少部iphone，这是一笔不小的数目）已经公布，但联盟尚未对此做出回应。

AI助力

优化视频流工作流程的传统方法可能已经走到了尽头。未来的发展将在软件和AI自动化方面。

AI实现这一点的一个重要方法是通过计算比特率来优化带宽使用，同时保持适当的质量水平。这是一件无法手动完成的事情；在网络条件再次改变之前，有太多的信息需要处理。

视频流领域也在关注内容感知编码（CAE），在这种编码中，算法可以理解正在流的是什么类型的内容，并相应地优化比特率、延迟和协议，以便在实时和视频点播工作流程中使用。

Haivision的光流编码，例如，使用特有的机器学习对视频内容进行智能分析，从而为每个视频确定最佳的比特率阶梯和编码配置。使用一个视频质量指标叫做LQI，它表示人类视觉系统在不同比特率和分辨率下对视频内容的感知能力。Haivision声称这将导致显著的比特率降低和感知质量改善，确保优化的成本和质量。

Harmonic的另一个例子是基于软件的Electra XOS实时视频处理器，澳大利亚SVOD Foxtel公司使用它在现有的带宽限制下提供UHD节目。这一功能的特点是EyeQ内容感知技术，旨在降低OTT交付成本和改善用户体验。

Harmonic还使用CAE技术，并已进行了测试，包括一个8K广播，播出去年年底BT体育的橄榄球7s比赛，这验证了CAE的效率取决于内容的复杂性。实际上，它在8K流媒体上的CAE测试被认为可以达到VVC在2022年承诺的效率，“证明我们可以使用今天的技术来提供明天的内容，而不需要消耗预算，” Harmonic的视频战略副总裁Thierry Fautier说。

“8K现在使用三年前开发的技术来传输。运营商希望提供更低的比特率，目标是接近目前4K OTT流媒体（Netflix的HDR内容需要25Mbps的连接）。我们已经证明，在14Mbps到39Mbps的范围内，使用云计算编码和CAE技术，不需要对8K进行任何优化，就可以做到这一点。”

iSize科技公司已经发展了BitSave v.2，用于视频编码前的感知优化。这意味着在视频被压缩之前，Al会优化视频帧。这个预编码器增强了每一帧区域的细节，影响编码后内容的感知质量评分，舍去了不太重要的细节。它可以与符合AVC、HEVC和VP9的第三方编码器一起使用，并且可以实时地达到4K分辨率。

iSize科技公司首席执行官SergioGrce说，消费者越来越多地投资和消费高质量的视频内容。作为回应，iSize开发了软件解决方案，“允许大量数据的视频内容被压缩到原始大小的一小部分，这意味着内容可以更快、质量更好被流传输。”

测试表明，isize正在申请专利的Al特性可以使编码速度提高500%。

V-Nova还在开发Al助力的codecs，这一次是用于贡献和远程生产工作流。它与Metaliquid，一个视频分析解决方案提供商合作。将PPro（以前的PERSEUS Pro）构建成一个用于编码和解码SMPTE VC-6 (ST-2117)的Al助力软件库。

“VC-6 是一个全帧内的图片压缩方案，使用深度学习以最佳的图像质量提供比特率节省，这对于直播远程生产的广播公司来说具有特殊的优势。" V-Nova解释说。

低延迟CMAF出场

随着越来越多的消费者转向手机、智能电视和其他联网设备来观看和与视频内容进行互动，直播正在发生巨大的变化。在当下，体育运动、电竞、音乐会和新闻中的大部分将会是直播。

为了提供最好的直播体验，内容创造者和视频提供商需要降低延迟——Bitmovin的调查发现，这仍然是2019年视频开发者面临的最大问题。近50%的调查参与者表示，他们将在未来一到两年内实现低延迟，大多数人“实际和可实现的延迟预期不到5秒”。

低延迟甚至会导致一些观看者完全关闭——在他们停止观看之前，观看者让视频重新缓冲的平均次数正在稳步下降。

这个问题源于这样一个事实：流媒体系统的设计或实现通常没有考虑到低延迟。传统上，广播链中的多个组件（处理、打包、流媒体和解码）增加了延迟。因此，必须对每个组件进行升级，以减少延迟。当广播公司试图实现这一目标时，基于机器的处理和通用媒体应用格式（CMAF）可能成为答案。

ATEME首席战略官Remi Beaudouin表示：“尽管该标准在近两年前就已推出，但直到现在，它才得到OTT运营商的更广泛认可，因为流媒体直播变得越来越普遍，降低延迟的需求变得越来越紧迫。

CMAF旨在将基于http的流媒体传输简化为一种设计通用的格式。因为它促进了在HLS和DASH中使用相同的媒体片段，所以它最终可以降低成本。它还具有低延迟模式，允许编码器/打包器推送视频块，而不是基于请求的视频段，从而降低流媒体延迟。

Beaudouin表示：“这意味着近乎实时的传输可以开始进行，而稍后的数据块仍在处理中。虽然CMAF的主要好处被认为是它减少延迟的能力，它还通过保持工作流相当简单来提升服务器效率，”

基于机器的编码和CMAF的组合可以将延迟降低到不到1秒，与地面和有线传输相当。

HEVC最新情况

虽然业界在等待基于EVC等标准的编码器，但是可以使用HEVC编码工具。

其中最新的是Vitec的MGW DiomandOG，它可以提供多达10个超高清频道或40个2RU openGear card格式的高清频道。该卡支持4:2:2 10位编码和多通道音频，以及Zixi、Pro-MPEG和SRT传输保护技术，用于在有损网络上可靠的AV和元数据传输。

适用于实时贡献和分发应用程序，ZyCast的4K编码器提供使用HEVC的实时编码。据该公司称，它提供了较低的带宽利用率，节约了成本，同时提供了优越的4K视频质量和流畅的运动。支持HDR，支持通过IP、DVB-T2和DVB-C进行视频分发。

西班牙的Spin Digital使用软件实时HEVC编码器对12K 360度视频进行实时编码。

它甚至还在展望16K的浸入式媒体分辨率。实时8Kp60实时编码只需要48Mbit/s，“具有广播级质量”。在2019年底的InterBEE和ISE 2020年展示了以30帧/秒的速度对12K x 6K360°视频进行实时编码。

不需要部分流媒体技术（被Mediakind和Harmonic等公司青睐），Spin Digital在50Mbps下用HEVC流传输整个全景视频，使用基于RTP协议的低延迟流解决方案。该公司还拥有一个媒体播放器，可以在一台个人电脑上处理上至16K的全景视频。

Videon的EdgeCaster4K HEVC/H.264编码器是第一个第三方编码器，兼容的AWS Elemental MediaStore。Videon的客户现在可以使用AWS Elemental MediaStore直接从EdgeCaster摄取支持低延迟的工作流，输出支持使用CMAF的HLS和DASH。该公司表示AWS ElementalMediaStore对EdgeCaster摄取协议的支持让全世界可以在三秒钟延迟内。使用基于标准的，可伸缩的、经济有效的工作流就可以达到这个效果。

在10月份于日本举行的2019年FIVB排球锦标赛的直播中，Videon展示了这种低延迟的Videon/AWS工作流，他们向数十万人提供了现场直播。

公司创始人兼首席执行官Todd Erdley表示：“我们正处在一个拐点，视频正成为OTT和线性电视的结合。展望未来，我们预见OTT将是直系经验的增强。要做到这一点，需要一种低延迟的方法，以及随着时间的推移无缝地添加更多特性和功能的能力。”