为传统设备提供更好的视频编码

来源：Global Video Tech Meetup 2021 主讲人：Mariana Afonso 内容整理：张一炜 本次演讲主要对 Netfilx 在编码端针对传统设备所做的优化工作，以及对已有的 per-title coding 方法进行改进的方式进行了介绍。

目录

• 研究背景
• 改进方法
  • 使用 VMAF 评测质量
  • 允许每块比特率的变化
  • 优化码率阶梯
• 总结

研究背景

Netfilx 在全球目前已有约193M的会员，而人们会使用各种各样的流媒体设备，包括手机、智能电视、机顶盒以及游戏主机等。并且不同播放设备所处的网络环境也存在不同。因此就需要能够使用各种各样的编码配置和编码器来对不同的播放条件进行适配，以实现针对性的提供更加优质高效的视频服务。

对于这种情况，Netfilx 在近年来进行了很多的技术创新。在编码优化方面，使用per-title encoding 以及 per-shot encoding 技术实现根据内容的自适应优化编码参数，以及针对移动端设备的编码优化。为了使得对视频质量的评价更加贴近人眼主观，Netfilx 也提出了 VMAF 指标。在编码标准方面，Netfilx 也对 AV1 和 VP9 的发展作出了贡献。

然而，并不是所有的会员都可以受益于这些改进，在一些较老的设备上可能会受到硬件的限制。Netfilx 对于 per-title coding 技术是针对于 H.264 AVC Main profile 上所做的优化，这也是由于 AVC 的使用较为广泛，因此该技术能够给更多的会员带来益处。因此 Netfilx 的 per-title encoding 技术的使用在目前占据了主要部分。继续对该技术进行改进也可以带来较为可观的收益。

在编码技术的改进目标上，仍然是希望能够保持主观视觉质量并且减少传输所需的比特数，同时也希望减少水印以利于存储。而在流媒体场景，还希望能够提高 QoE，减少卡顿等。并且，这些改进需要在主流的播放设备的承受能力之内，以确保这些改进技术的普及。

改进方法

Netfilx主要对他们的 perN-title coding进行了三方面的改进，包括将VMAF 作为基于复杂度编码的质量评价指标；使用 per-chunk 的码率分配方式取代原先的 per-title 平均码率；对码率阶梯进行改进，并对编码的操作点进行调优。

使用 VMAF 评测质量

VMAF 的模型在训练过程中已经考虑了压缩以及缩放等操作可能带来的失真影响，因此能够很好的适应于自适应流媒体场景。相比于经过直接计算得到的评价指标来说是更适应于人眼主观质量的评测指标。

由于 per-title coding 的概念相比于 VMAF 来说更早提出，因此在以往 Netfilx 的 per-title coding 中使用的是 PSNR 作为视频质量的评测指标，而 VMAF 相比于 PSNR 能够更加准确反应人眼的主观质量。因此在这一次的改进中，Netfilx 使用了 VMAF 作为替代，并根据 VMAF 来进行决策和编码阶梯的确定。这样已经可以取得一定的编码增益，如下图所示。

使用 VMAF 作为决策指标的性能增益

允许每块比特率的变化

以往的 per-title coding 中，Netfilx 是通过使用复杂度分析的策略来对理想的 per-title 码率进行估计，而现在 Netfilx 则是基于视频中每块的复杂度和播放设备的限制这两方面，对该块的平均码率进行了调整。

该策略可以提高码率分配的准确率，并且避免在低复杂度场景下分配过多的码率。并且，对于平均码率相同的视频，这种方式可以在统一 title 下减小视频质量波动。下图展示了两种方式的码率和质量变化，以及改进方式带来的压缩性能的提升。从图中可以看出，不同块视频的码率波动与质量波动有了明显的减小，视频整体的相比于之前的方法更为平稳。

调整每块码率后的整体码率变化

调整每块码率后的整体质量变化

下图展示了整体 RD 性能的变化，在使用了更细粒度的分配码率的方式后，整体的 RD 性能也得到了一定的提升。该方法的 BD-rate 增益约为6.5%。并且在不同块视频的复杂度变化较大时，该方法能带来的增益更为明显，可以达到16.0%。

调整每块码率后RD性能对比

优化码率阶梯

在码率阶梯中，并不是所有的码率和质量等级下的视频都能够被同等的传输，在很多情况下由于网络带宽和播放设备的限制，高码率下的传输效果并不好。

因此在码率阶梯中进行复杂度分析和选择操作点时，需要将这些因素也考虑进来。具体操作时需要进行 A/B testing的方式，能给衡量各种码率等级的视频以及网络情况与播放设备条件下的 QoE 信息，并且可以将播放设备带来的限制也考虑在内，以确保离线情况下设计的改进策略与调整能够带来实际有效的增益。

总结

上述的技术在传统设备上可以带来明显的编码性能增益，下图展示了通过 A/B testing 后得到的结果

在传统设备上的性能增益

这些调整与改进对于整个视频分发流程都可以带来较大的益处，能够减小存储和带宽的消耗，并进一步提高不同播放设备下的 QoE。