LCEVC：概述和性能评估

本文来自MPEG-5 Part 2的会议论文演讲，演讲者是来自V-Nova的Simone Ferrara。本次演讲的主题是LCEVC）的概述和性能评估。

LCEVC概述

Low Complexity Enhancement Video Coding（LCEVC，低复杂度增强视频编码）是一种新的MPEG视频编解码器，目前作为MPEG-5第2部分进行标准化。LCEVC并不是独立的视频编码器，而是对任意其他编码器的增强（例如AVC, VP9, HEVC, AV1, EVC或VVC），目的是降低计算负荷，并比在给定分辨率下单独使用增强编码器达到的压缩效率更高，尤其是在视频传输相关码率的情况下。它的核心思想是使用常规视频编解码器作为较低分辨率的基本编码器，并通过将解码后的低分辨率视频与使用专用低复杂度编码工具编码的最多两个残差增强子层进行组合来重建全分辨率视频。

LCEVC编码器

编码过程可以分为三个步骤：首先，使用非标准降尺度器对输入序列进行降尺度。现在低于输入序列分辨率的视频被馈送到基本编码器中（例如AVC, HEVC, VVC）。

其次，使用规范的升频器，它可以使用内容自适应核和可选的编码器信号激活的非线性校正器。升频后的基本重构用作第二步的输入LCEVC编码过程。增强子层L-1残差通过减去缩减后的输入序列和基本重建来创建。应用量化和变换的逆工具，并进行自适应和可选的编码信号非对称去量化，从而创建子层1的重构。

最终，将子层1重构放大到全分辨率，并从原始输入序列中减去。所得的增强子层2（L-2）残差被馈送到时间预测中。LCVEC使用零运动矢量时间方案，该方案在逐块的基础上运行。来自前一帧的残差存储在时间缓冲区中，并在激活了时间预测的情况下将其添加到L-2残差中。使用与子层1所述相同的工具对残差进行转换，量化和编码。

LCEVC不是独立的编码器，但是需要基本编码器才能运行。基本编码器无需满足任何条件即可和LCEVC结合使用。此外，LCEVC提供了自定义大多数解码工具的灵活性。

模型性能提升分析

测试采用LTM4.1增强三个不同类型的MPEG编码器，分别是AVC, HEVC和VVC。测试采用UHD数据集，对每个编码器采用随机的编码配置。测试指标包括PSNR, VMAF和ITU-R BT.500的正式MOS。

LCEVC相比AVC和HEVC分别提供了39%和21%的VMAF增益。LCEVC的MOS增益相比AVC和HEVC分别提高了46%和31%。和VVC相比，LCEVC的VMAF增益为7%。此外，在相同的分辨率下，和HEVC和VVC的基准点相比，LCEVC大幅度减少了编码时间。

LCEVC提供了锚点增强和较低的计算复杂度，从而产生了更有利的复杂度-压缩权衡曲线。总体复杂度的多重折减对软件和硬件的执行都很有帮助，比如允许解码的分辨率比硬件解码器支持的更高并且减少需要支持目标分辨率的下一代编码器的芯片面积。

优化的执行性能分析

第二个测试是优化的执行性能分析。测试使用LCEVC优化的增强AVC（x264）和原生AVC进行比较。实验采用不同比特率下Netflix的EI Fuente的1080p测试集。X264使用恒定速率因子和慢预设模式。测量指标包括PSNR和VMAF。

压缩结果显示LCEVC在所有数据集上都提供了明显的增益。平均BD-rate-PSNR增益为27%，BD-rate-VMAF增益为47%。

在相同比特率情况下，LCEVC使用的电压和功率比硬件H.264低。在相似质量下，LCEVC使用非常低的电压和较低的功率。

LCEVC的编码和解码时间都显著低于相应的基准编码器。编码时间缩减为30%-50%。解码时间缩减为60%-95%。

深入了解LCEVC的工作原理

提高LCEVC压缩效率的关键工作原理是将高频细节和中低频核心信号适当地分开，以较低的分辨率对核心信号进行编码，然后使用一组非常专业的工具有效对高频细节进行编码。总体来说，使用低分辨率的单层编码器对中低频进行编码的熵效率更高。LECVC增加了一种原生凸包编码，可以对智能上采样的功能进行编码。更重要的是，对不可预测的高分辨率细节进行编码。因此，整体编码增益的一部分来自LCEVC结构。

LCEVC擅长保持运动一致性，从而避免了对象跟踪障碍。当缺乏比特时，单层编码器会牺牲运动的一致性。但是LCEVC通过使用更低的QP编码系数保留了更好的运动一致性和静态细节的最大编码效率。

LCEVC结合了智能上采样和传统编码的特点：对于智能上采样足以提供高保真重建的区域，LCEVC采用低复杂度编码器引导的智能上采样，无需传输残留数据。对于智能上采样失败的区域，LCEVC允许编码器将重构保真度所需的校正有效地发送到源端。

结论

LCEVC满足了其提供与编解码器无关的编码效率和处理复杂性的要求。LCEVC的增强效果在测试模型中得到验证，并在现实场景中以优化的实现方式在各种场景中得到进一步证实。除了与低分辨率使用的增强编解码器进行协同协作之外，LCEVC还可以高效地编码高频残留数据。

附上演讲视频：

附上LCEVC相关帖子：