神奇的图像修复大法，AI想象力的开启

技术前沿

作者：萝卜兔

深度学习的爆发，让图像识别变得容易，同样，在图像修复上面也取得很多进展。AI对图像的修复，让我们看到了在学习了大量数据后，AI似乎也可以产生对于图像的记忆和想象，将缺失的、模糊的、或者噪声严重的图像恢复“原貌”。

下面，我们一起来看看各种图像修复技术的进展。

无需干净样本，超强去噪

最近，英伟达、阿尔托大学以及麻省理工大学一起提出了一种图像修复的新技术，该技术可以很好的去除图像中的噪声和伪影，并且不需要干净的图像样本。该工作在2018年ICML会议上公布。

我们先来看看效果：

视频中展示了不同的图像噪声（包括高斯噪声、泊松噪声、Bernoulli noise噪声、脉冲噪声等），该神经网络通过学习成对的噪声图片，完成的效果都不错。

算是目前该项工作中很优秀的存在了，一些细节的地方也处理得相当不错，他们把该项技术称为Noise2Noise。该团队从ImageNet数据库获取了50000万张图片，对它们进行“增噪”处理。然后把这些“不干净”的图片输入模型中训练，让模型学会“降噪”。

值得注意的是，该模型接手的图片全部都是增加了各种噪声的图片，完全不知道原图是什么样子的。研究人员表示：“在没有干净图像的情况下，神经网络学习恢复图像是可能的。”于是他们使用配对的噪声图像，完成了这项工作。

研究人员希望将此项技术应用于含有大量噪声的图像，比如天体摄影、核磁共振成像（MRI）以及大脑扫描图像等。

使用来自IXI数据集近5000张图像来训练Noise2Noise的MRI图像去噪能力。在没有人工噪声的情况下，结果可能比原始图像稍微模糊一些，但仍然很好地还原了清晰度。

论文链接：

https://arxiv.org/pdf/1803.04189.pdf

AI脑补，修复缺失图像

关于图像缺失修复的算法也不少，先来看看来自整块图像缺失的修复算法，该算法来自南加州大学的工作。首先看实现效果：

虽然看起来没有非常完美，但是作为一个PS小白，我来操作似乎也只能到这个水平了。

CNN网络结构

由上图可以看到，该网络其实是由两个神经网络组成，一个是内容生成网络，一个是纹理生成网络。内容生成网络生成图像，推断缺失部分的内容。纹理生成网络用于增强内容网络产出的纹理，具体来说就是将生成的补全图像和原始无缺失图像输入纹理生成网络，在某一层feature_map上计算损失，记为Loss NN。

内容生成网络结构

纹理生成网络Loss NN

具体技术细节参考论文：

https://arxiv.org/pdf/1611.09969.pdf

另外，除了整块图像缺失的修复，还有不规则图像的修复，而这项工作同样来自于英伟达。今年5月，英伟达Guilin Liu领导的研发团队发布了一种深度学习算法，可以编辑图像复原那些有像素有缺失的图像。

该算法还可以删除图像部分内容再进行填充，方便快捷的实现抠图，不得不说这将是小编们爱不释手的神器。

训练该网络，他们首先生成了55116个具有随机纹理和任意形状、大小的马赛克作为训练集。25000个马赛克图形作为测试数据集。并根据马赛克图像的相对大小将图像分为了六类。

研究人员通过将生成的马赛克图案覆盖在 ImageNet，Places2 和 CelebA-HQ 数据集的图像上，使用 NVIDIA Tesla V100 GPU 和经过 cuDNN 加速的 PyTorch 深度学习框架来训练神经网络。

在训练阶段，将空白或缺失部分引入上述数据集完整的训练集中，使神经网络能够学习复原缺失的像素。在测试阶段，将与训练阶段不同形状的马赛克图案应用于测试集的图像中，从而提高复原精度的范化能力。

为了解决颜色偏差和模糊伪信息的问题，研究团队提出了一种方法——使用“部分卷积”层，根据其感受野的有效性对每个输出进行重新归一化 。这种重新归一化的方法可确保输出值与每个感受野中受损像素的值相互独立无关。该模型由UNet架构实现的部分卷积功能。使用一组损失函数来训练模型，匹配VGG模型的特征损失和风格损失以产生逼真的输出。

实现细节参照论文：

https://arxiv.org/pdf/1804.07723.pdf

马赛克还原术

这是去年由Google Brain发布的一个名为Pixel Recursive Super Resolution的AI系统，能提高像素乱化处理后的照片分辨率，也就是能够清除马赛克。

左边：马赛克版本 中间：GoogleAI还原版本 右边：原图

可以看出，虽然我们仔细观察还是可以发现，AI想像出来的和实际的图像有一定的差别，但相似度还是蛮高。我想，很少有人类能够做到从这乱七八糟的马赛克中想像出美女的脸来.....

该系统主要由两个部分组成，一是调节网络（conditioning network），是一个CNN模型，通过向系统展示海量人物面部照片来进行训练，让模型记忆学习到的具有代表性的面部特征。另一个是优先网络（prior network），是一个PixelCNN，让系统基于之前的训练，猜测哪些细节可以作为高分辨率照片的特征，并根据概率优先原则，从所有可能的原图中找到最有可能匹配的细节，对高分辨率照片进行填充。

该系统“还原”人脸照片的混效率是10%，“还原”场景图表现更好，可以达到28%。

技术细节参照：

https://arxiv.org/pdf/1702.00783.pdf

众多的图像修复技术中，萝卜兔觉得去噪技术是最为实用的。它可以将我们夜晚拍摄的照片中的噪点去除，实现更加高清的夜间摄影，而且对夜间各处治安录像的清晰度还原也有很大帮助；在医学上可以解决核磁共振图像以及天文、地理等噪点图像的处理，这些都是非常好的落地应用。

参考链接：

https://www.leiphone.com/news/201805/xadVEjp19vXoXFxo.html/

https://www.thepaper.cn/newsDetail_forward_1615454