CVPR 2020｜超越H.265，中科大使用多帧数据改进视频压缩新方法

随着深度学习的兴起，可学习的视频压缩（ learned video compression）方法也越来越引起研究学者的重视。

CVPR 2020 的论文 M-LVC: Multiple Frames Prediction for Learned Video Compression ，来自中国科技大学的学者提出一种参考多帧的预测方法，改进了低延迟场景的端到端 learned video compression方法。

01

方法

文章指出，之前的方法多只用前一帧作为参考，该文指出使用前面多帧作为参考，其可以实现：

1. 更加精确预测当前帧，使得残差数据量更小；
2. 有助于生成motion vector （MV）预测，降低MV域的编码代价；

作者使用两个自动编码机（auto-encoder）分别压缩残差和MV，为补偿压缩错误，结合多帧数据引入残差和MV的提精网络。

该算法是在DVC基础上发明的，下图展示了该文的压缩模式，蓝色高亮部分为该文提出的新模块。

在三个数据集上与H.264 , H.265 , DVC 方法的压缩结果比较，可见在PSNR和MS-SSIM上均实现明显的效果提升。

02

编解码速度

作者使用Titan Xp GPU测试了模型的推断速度，在352x256分辨率视频上，编码帧率2.7fps，解码帧率5.9fps。

还需要更多的优化，才能达到实时编解码。

03

结果

实验结果显示，在低延迟模式下该文方法打败了之前的可学习的压缩方法，另外在与工业标准H.265比较中，PSNR和MS-SSIM也取得了更好的结果。

作者称代码和模型均将开源。

04

传送门

论文地址：

https://arxiv.org/pdf/2004.10290.pdf

开源地址：

https://github.com/JianpingLin/M-LVC_CVPR2020

（目前尚未有开源）

END