基于深度神经网络的帧重建以优化视频编码

本文是来自AOMedia Symposium 2019的演讲，讲者是来自于杭州师范大学的Dandan Ding。本次演讲以AV1为例，主要讲述了使用神经网络做环内滤波的两个问题，即如何设计网络结构和如何嵌入网络。

Ding首先介绍了这个项目的背景、目标和主要问题。针对网络结构的问题，帧内滤波可以视为超分辨率问题，典型的网络有VDSR（极深超分网络）、ResNet，在1M参数量时有0.8dB的PSNR增益。作者通过优化模型，在20k参数量时达到0.25dB增益。

之后讲者针对嵌入网络的方式展开了讨论。直接替换原模块，所有帧都参与CNN滤波，增益反而降低，产生了过度滤波的问题。一种解决方案是跳过某些帧，可以通过比较率失真来判决某个CTU使用传统滤波器还是CNN滤波器。讲者针对帧结构提出了一种跳过策略。另一种解决方案是全局滤波模型，针对不同程度的失真图像都训练。讲者提出了渐进训练的方法，将CNN滤波后的重建帧再次放入训练集。

此外，讲者还提出了多帧参考的方法，用一对高质量帧来增强中间的低质量帧。最后讲者做了总结。

最后附上演讲视频：

http://mpvideo.qpic.cn/0bf2hqaaaaaagqaa42qgevpfapgdaa6aaaaa.f10002.mp4?dis_k=439e9a4b3e90aab8473c800191500fce&dis_t=1578993339