解密深度图像先验，使用深度图像先验来复原图像

图像恢复介绍

图像恢复是指从退化图像中恢复未知真图像的任务。图像的退化可能发生在图像的形成、传输和存储过程中。这个任务有一个广泛的使用范围，卫星成像，暗光线的摄影，由于数字技术的发展，计算机和通信技术恢复退化图像是非常重要的，因此，这已经演变成一个交叉研究领域，包括图像处理，计算机视觉和计算成像。

图像恢复主要有三个任务：

1. 图像去噪

图像去噪是指对加性噪声污染的图像进行恢复。这是图像恢复中最简单的任务，因此已被多个技术团体广泛研究。

Fig.1 (左)加噪声的图, (中间)真实图, (右)高斯噪声

2. 超分辨率

超分辨率是指从一组低分辨率图像中生成高分辨率图像(或高分辨率图像序列)的过程。

Fig2. (左)低分辨率图像, (右)高分辨率图像

3. 图像修复

图像修复是对丢失的图像退化部分进行重建的过程。In-painting其实是一种古老的艺术，它要求人们去画出画作中已经变质和遗失的部分。但在当今世界，研究人员已经想出了许多方法，利用深度卷积网络来实现这一任务的自动化。

Fig. 3 (左) 输入, (右) 输出

什么是深度图像先验？

随着2012年alexnet在image-net比赛中的成功，卷积神经网络在计算机视觉和图像处理任务中得到了广泛的应用，被广泛应用于执行图像的逆重构任务，并取得了优异的成绩。

深度卷积网络之所以成功，是因为它能够从大量的图像数据集中学习。Dmitry Ulyanov在其令人吃惊的论文《Deep Image Prior》中指出，为了解决像图像恢复这样的逆问题，网络的结构是充分的，并且在从退化图像中恢复原始图像时施加了一个强先验。本文强调，要完成这些任务，不需要预先训练的网络或大型图像数据集，只需考虑退化图像即可完成。

学习先验和显式先验是图像恢复中最常用的两种方法。

学习先验是一种通过数据集直接训练深度卷积网络学习世界的方法，它以噪声图像作为输入，以干净图像作为期望输出。

另一方面，显式先验或手工先验方法，是我们嵌入一个硬约束，并从生成的数据中教给网络什么类型的图像是自然的，比如说脸等。用数学的方法来表达约束条件是非常困难的。

我们来看看技术...

Fig.4. (左)干净图像， (中间)退化的图像，(右)复原图像

x → 干净图像

ẋ → 退化图像

x* → 恢复图像

我们可以使用最大后验分布从经验数据估计未观测值

利用贝叶斯规则，我们可以把它表示为似然×先验

我们可以把这个方程写成最优化问题，而不是单独处理分布：

对式(1)加个负号

E(x;ẋ)是数据项，也就是似然的负对数，R(x)是图像的先验项，也就是先验的负对数。

现在的任务是在图像x上最小化Eq(2)。传统的方法是用随机噪声初始化x，然后计算函数关于x的梯度，遍历图像空间直到收敛到某个点。

Fig. 5 常规方法的可视化

另一种方法是构造一个函数g，使用随机θ进行初始化，其输出来自一个不同的空间，可以映射成图像x，并且可以使用梯度下降来更新θ直到收敛到某个点。所以，与其在图像空间进行优化，我们可以优化θ。

FIg. 6 参数方法的可视化

但是，为什么这种方法是可能的，为什么我们应该使用它？这是有可能的，因为从理论上讲，如果g是满射的g:θ↦x (如果至少一个θ映射到图像x )那么这个优化问题是等价的，这样他们有相同的解决方案。但是在实践中，优化方法搜索图像空间的方式发生了巨大的变化。实际上，我们可以将g视为超参数并对其进行优化。如果我们观察，g(θ)作为先验可以帮助选择一个好的映射，能够输出所需的图像并且可以防止我们得到错误的图片。

那么，不是去优化两个分量的和。我们现在只优化第一项。

现在Eq 2，可以表示为，

其中，z 是随机的固定输入图像，θ是随机初始化权，可以梯度下降法来进行更新，以获得所需的输出图像。

但为什么要考虑这种参数化方法还不清楚。理论上乍一看，它似乎会产生原始的噪声图像。在本文中，作者进行了一个实验，该实验表明，当使用梯度下降法对网络进行优化时，卷积神经网络不愿意接受噪声图像，更容易快速地向自然图像下降。

Fig. 7 重建任务的学习曲线使用：一张自然图像，加上相同的i.i.d.噪音，相同的随机打乱，白噪声。自然外观的图像收敛速度更快，而噪声被拒绝。

一步一步来做深度图像先验

ẋ=损坏图像(观察)

1. 初始化z：用均匀噪声或任何其他随机图像填充输入z。
2. 求解，利用基于梯度的方法对函数进行优化。

1. 最后当我们找到最佳的θ，我们可以获得最佳的图像，只需向使用参数θ的网络中传入固定的输入z，然后前向传播就可以了。

Fig. 8: 利用深度图像先验进行图像恢复。从一个随机权重θ0,我们通过最小化数据项方程(2)反复进行更新。在每一个迭代权重θ映射到图像x = fθ(z), z是一个固定的张量和映射f是一个神经网络其参数为θ。图像x用于计算任务相关损失E(x, x0)，损失关于θ的梯度，.然后更新参数。