深度学习在图像和视频压缩中的应用

本文来自AOMedia 2019 Research Symposium的演讲，演讲者是来自纽约大学Tandon工学院的Yao Wang教授。

Yao Wang首先介绍了之前使用变分自动编码器进行图像压缩的网络结构，然后指出了这项工作的一些问题：一个是不同码率的模型都需要设置不同的超参数进行单独训练，另一个是部署到网络应用中比较困难。针对这两个问题，Yao Wang介绍了基于可扩展自动编码器（SAE）的分层图像压缩模型，该压缩模型可以产生一个基本层和若干增强层，并且每一层都使用相同的模型框架。然后Yao Wang对比了该模型与其他一些模型在PSNR和MS-SSIM指标下的实验结果。

然后，Yao Wang介绍了另一个压缩器——非局部注意力优化的压缩器（NLAIC），详细介绍了该压缩器的网络结构和其中的非局部注意力机制，并给出了该压缩器在kodak数据集上与其他压缩器在PSNR指标下的对比结果，结果显示NLAIC具有不错的性能。

接着，Yao Wang介绍了基于深度学习的端到端视频编码框架，将传统视频编码的各个模块用深度学习代替并进行联合优化。具体介绍了基于隐式流估计的帧预测，并将该模型结果与H.265,H.264等编解码器在四个数据集上进行MS-SSIM指标的对比，结果显示该模型具有最好的性能。

然后，Yao Wang介绍了基于动态变形滤波器的视频预测模型，该网络输入视频帧，然后输出一张运动向量图和一张滤波系数图，与输入帧融合后作为最终输出结果，并展示了在模型在动态MINIST数据集上的结果。

之后，Yao Wang又介绍了一项基于块的带边缘去噪的压缩器，并给出了该模型的网络框架和性能。