深度学习的图像修复

本文为 AI 研习社编译的技术博客，原标题 ： Image Inpainting with Deep Learning 作者 | Tarun Bonu 翻译 | 许毅 校对 | 邓普斯•杰弗 审核 | 酱番梨 整理 | 立鱼王 原文链接： https://medium.com/jamieai/image-inpainting-with-deep-learning-dd8555e56a32

机器能够产生幻觉。机器这样的能力可以帮助我们开发一些技术，例如图像修复。

什么是图像修复？

修复指的是恢复图像损失的部分并且基于背景信息将它们重建的技术。它指的是在视觉输入的指定区域中填充缺失数据的过程。在数字世界中，它指的是应用复杂算法以替代图像数据中缺失或者损坏部分。

在数字效果图像复原，图像编码和传输的应用中，图像修复已经被广泛地研究。

给定上面的图像，我们怎么样填补缺失的信息呢？想象我们正在建造一个填补元件的系统。系统该如何做呢？人类的大脑该如何做呢？我们需要使用哪种类型的数据呢？这些都是我们需要思考的问题以解决图像修复这样的问题。

有两种类型的信息需要关注：

• 情景信息
• 感知信息

传统修复

传统上，图像修复可以使用基于扩散方法来处理，这种方法将局部结构传播到位置部分，或者基于示例的方法，每一次构建缺失部分的一个像素点（块）同时保持和周围像素点的一致性。

当缺失部分很大时，这些方法会失效，因此需要一个额外的部件提供合理的想象力（来自机器的幻觉）。这些附加的信息可能是由自然图像的高阶模型提供，例如由深度神经网络计算的那些。

应用深度神经网络实现

在这个方法中，我们依赖预训练神经网络的幻觉来填补图像中的大洞。深度神经网络使用监督图像分类。在监督图像分类中，每个图像都有一个特定的标签，并且神经网络通过一连串的基本操作运算来学习图像到标签之间的映射。当在巨大的数据集（数百万张带有成千个的标签的图像）上被训练后，神经网络具有卓越的分类表现并且偶尔可以超越人类的准确率。实施一个判别式预训练的神经网络来指导图像重建，其中神经网络的最后一层在图像修复问题中被直接运用。

判别式预训练的神经网络

极大值问题：

让我们考虑极大化：

max Iˆ Nl( ˆI) subject to ˆIΩ = IΩ

N —训练网络

I — 图像缺失部分

I —需要恢复的部分

Ω the subset of R2 (R squared, contains known part of the image)

我们的目标是恢复Ω（用Ωc表示）补码中的像素。上述问题利用分类器的先验知识重建缺失的部件Ωc，在训练阶段可能会看到数以百万计的图像。

正则化策略

Total Variation (TV) norm 是一种在保留边缘等重要细节的同时，去除不良细节的策略。Total Variation (TV) norm由于具有保边性，在反问题如去噪、超分辨率等中被广泛用作正则化器。

不同技术的比较

• 原始图像被特意标出来检验性能。
• 扩散会导致边缘丢失。
• [5]是一种示例性方法，它并不能有效地重建损坏的图像。
• 深度学习神经网络正确地使图形的形状完整。深度网络的幻想性和正则化的结合完成了有效的图像恢复。

其他结果

(1)

(2)

(3)

(4)