SVT-AV1编码器概述

本次演讲来自SPIE的线上会议，演讲者是来自Intel的Ben Amara。演讲的主要对SVT-AV1的进行了系统性的介绍，并对其并行机制和降低复杂度的方法进行了讲解。

Ben首先介绍了研究动机。由于视频的数据量越来越大，需要寻找更优的视频压缩算法来减少存储或者互联网传输时带宽的消耗。现有的很多视频处理方法中，其特点是延迟和所需处理计算资源等要求相互冲突。因此，需要一种视频压缩算法，既能充分利用现有的计算资源，又能在各种复杂度质量权衡之间实现平滑过渡。

Ben接着介绍了AV1, 它提供了多核平台上的计算资源、比特深度等多个维度的可扩展性。并基于一些架构和算法特点，提供了优秀的速度质量延迟权衡。对于AV1的优点来说，首先是多维度的并行性，可以充分利用现有的计算资源。第二，是基于superblock的多通道分区决策，它可以高效收敛到最佳的分区。第三，是基于块的多级多类模式决策，它可以高效收敛到给定块的最佳编码模式。最后是预测和编码算法中的复杂度优化，使其主要特征的计算成本最小化。

接下来，Ben详细介绍了SVT-AV1的主要架构和算法特点。SVT-AV1架构允许在处理输入图片时采用多种形式的并行，即基于过程的并行、基于图片的并行和基于段的并行。基于图片的并行性允许同时处理多张图片。Ben以一个四层预测结构为例，只要参考帧编码完成，那么其他下一级的图片就可以并行处理。而基于图片的并行处理会导致高延迟，并且是以大幅增加内存为代价的。

Ben随后讨论了基于进程的并行性和基于段的并行性。在基于进程的并行性中，进程是软件编码器中的一个执行线程。编码器流水线涉及多个独立运行的进程，这些进程可以并行运行。在输入图片后，首先生成分析数据，包括大部分运动估计数据。再通过利用模式决定的结果来使用规范编码工具对super block进行编码。在基于段的并行中，段是图片中连续的super block的集合。多个分段可以由同一进程的多个实例或不同的编码器进程来处理。Ben随后以一个具体的例子来介绍了并行编码的机制。

接下来，Ben介绍了如何降低编码器中复杂度的想法。首先讨论的特性是对一个方形块的非方形分区的处理。为了降低处理非正方形分区的成本，SVT-AV1中考虑了以下几种方法。第一种方法是基于使用统计或参考图片中给定分区的选择，其结果是将更多的计算资源分配给选择概率高的分区。第二种方法是根据块内量化后非零系数的数量，如果这种系数的数量较少，则将使用相对简单的预测和编码工具与非方块分区。第三种方法是看方块的编码成本与H划分的编码成本之间的差异，如果差异较大，则不考虑HA、HP、H4划分。最后一种方法则是利用了不同分区中，一些块有相同的相邻块、位置、大小、形状等事实，只需对这种块进行一次编码，并在所有相关分区中使用同样的编码结果即可。

Ben接着讨论了多参考帧的情况，通过对参考帧的修剪可以减小预测时的消耗。基于预测失真的修剪动作发生在运动估计和模式决定中。第一阶段的修剪发生在分层运动估计之后，其中高失真的参考图片将被丢弃。类似的思想也适用于运动估计之后。进一步的修剪是通过删除预测失真高于帧内预测失真的参考图片。另一个修剪步骤则是根据参考图片与当前图片的距离来进行限制。

Ben随后对SVT-AV1的计算复杂度和压缩质量进行了实验和比较，并展示了具体的实验结果，并表示针对VOD用例的评估结果表明，与libaom相比，SVT-AV1编码器具有类似或更好的取舍，显示出巨大的潜力，可以覆盖X265、libvpx和X264预置的快速速度范围，成为VOD应用的首选编码器。