【每周CV论文】初学深度学习图像修复应该要读的文章

欢迎来到《每周CV论文》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

图像修复(image inpainting)或补全(scene completion)即去除图像中的一些小目标，属于底层图像编辑中的一类技术，今天给大家推荐初学该领域必须要读的文章。

作者&编辑 | 言有三

1 基于GAN的基本模型

传统的图像修复方法通常是用相似度算法从图像的其他区域选择图像块进行补全，ContextEncoder是首个使用GAN的图像补全框架。

文章引用量：1000+

推荐指数：✦✦✦✦✦

[1] Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: Feature learning by inpainting[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2536-2544.

2 判别器改进

Context Encoder模型的生成器和判别器结构都比较简单，补全的结果虽然比较真实，但是边界非常不平滑，不满足局部一致性。针对这个特点，研究者联合使用了全局判别器和局部判别器对Context Encoder模型进行了改进。

文章引用量：500+

推荐指数：✦✦✦✦✦

[2] Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.

3 注意力机制改进

传统图像补全方法擅长从背景图像中采样，CNN模型则擅长直接生成新的纹理，为了综合利用这两类方法的长处，并充分使用图片中的冗余信息，研究者提出了基于注意力机制的方法[3]来进行图像补全，这一类方法通常采用由粗到细的两个步骤, 第一步先粗略补全，第二步再在未遮挡区域寻找与遮挡区域中相似的图片块来进行改进。

文章引用量：260+

推荐指数：✦✦✦✦✦

[3] Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 5505-5514.

4 卷积方式改进

很多框架将缺失的区域使用白色或者是随机噪声来填充，白色/随机噪声本来没有有效信息, 对它们与有效的信息不加区别的卷积并不合理, 这样的补全结果会出现一些不合理的图像块，导致往往需要计算量较大的图像融合等后处理操作。Nvidia提出了Partial Convolution，它通过修改卷积操作来改进图片补全。

文章引用量：270+

推荐指数：✦✦✦✦✦

[4] Liu G, Reda F A, Shih K J, et al. Image inpainting for irregular holes using partial convolutions[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 85-100.

5 基于边缘的补全

当一个作画者开始画一幅图时，往往先描绘出整体的边缘轮廓，然后再上色。基于这样的启发，有一类图像修复框架采取先对边缘进行修复，然后对纹理内容进行修复的思路，EdgeConnect是其中的一个代表。

文章引用量：很少

推荐指数：✦✦✦✧✧

[5] Nazeri K, Ng E, Joseph T, et al. EdgeConnect: Structure Guided ImageInpainting using Edge Prediction[C]//Proceedings of the IEEE InternationalConference on Computer Vision Workshops. 2019: 0-0.

6 应用

在图像修复算法中非常重要的一类应用就是对老旧照片进行修复，去除刮痕等。

文章引用量：较少

推荐指数：✦✦✦✦✦

[6] Wan Z , Zhang B , Chen D , et al. Bringing Old Photos Back to Life[J]. 2020..

7 文章解读

关于图像修复相关文章的详细解读，在有三AI知识星球-网络结构1000变-图像修复以及GAN下有较多的文章，感兴趣可以移步。

总结

本次我们介绍了初学图像修复领域值得读的文章，当前研究重点在于GAN模型，复杂退化类型图像的修复等方向，读者可以继续关注。