【星球知识卡片】图像和视频超分辨都有哪些核心技术，如何对其长期深入学习

大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享图像和视频超分辨相关的资源。

作者&编辑 | 言有三

1 基本的超分辨模型

基本的超分辨模型根据上采样（upsampling）在网络结构中的位置和使用方式不同，可以分为三四类，其中SRCNN方法是最早期的深度学习用于超分辨的尝试，取得了超越传统方法的效果，本质上就是上采样加非线性变换网络。

2 基于GAN的超分辨模型

对于图像超分辨这一类生成式任务来说，GAN具有天然的优势，其中SRGAN是一个经典的框架，可以取得非常好的重建结果。

3 无监督超分辨模型

如果模型都是基于成对的低分辨率和高分辨率图进行训练的有监督模型，因为要通过固定的图像算法对高分辨率图进行采样获得低分辨率图，这与真实的图像蜕化过程并不一致，真实的图像蜕化往往包括各类模糊和噪声，缺陷等，会影响模型泛化能力，所以无监督模型研究是重点方向。

4 视频超分辨模型

视频的超分辨不仅仅是若干帧图像超分辨的组合，而是要考虑时序运动关系，因此也是一个独立的超分辨研究方向，有众多经典框架。

5 其他

总的来说，图像与视频超分辨有一些重要的研究方向，包括：

(1) 上采样结构的改进。

(2) 数据增强方法的改进。

(3) GAN的应用。

(4) 无监督框架的研究。

(5) 视频超分辨框架的研究。

(6) 特定方向的超分辨(如人脸图像)。

(7) 其他等等。

以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—GAN与超分辨板块阅读。

以及《深度学习之摄影图像处理：理论与实践》书籍中的超分辨章节。