专栏首页目标检测和深度学习Deep Image Prior——图像恢复入门

Deep Image Prior——图像恢复入门

【导读】本文重点介绍了图像恢复这个任务,以及如何使用深度图像先验来解决此任务。

作者|Pratik Katte

图像恢复介绍

图像恢复是指从其劣质图像中恢复未知真实图像的任务。 图像损耗可能在图像形成,传输和存储期间发生。 该任务广泛的用于卫星成像,低光摄影。由于数字技术的进步,计算和通信技术从退化图像恢复清晰图像非常重要。

图像恢复主要有三个任务:

图像去噪:

图像去噪是指恢复受附加噪声污染的图像。 这是图像恢复中最简单的任务,因此已被多个技术社区广泛研究。

超分辨率

超分辨率是指从一组低分辨率图像产生高分辨率图像(或一系列高分辨率图像)的过程。

图像重建

绘画中的图像是重建图像劣化部分丢失的过程。 绘画实际上是一种古老的艺术,需要人类绘制绘画中和丢失的部分。 但在今天的世界研究中,已经提出了许多方法来使用深度卷积网络自动完成这项任务。

什么是Deep Image Prior?

随着Alexnet在2012年图像网络竞争中的成功,卷积神经网络已经变得非常流行并且已经被用于每个计算机视觉和图像处理任务中。

深度卷积网络因其能够从大量图像数据集中学习而获得成功。 Dmitry Ulyanov的论文“Deep Image Prior”表明,为了解决像图像恢复这样的逆问题,网络的结构已经足够,并且足以从劣质图像恢复原始图像。本文强调,为了执行这些任务,不需要预训练网络或大图像数据集,并且可以仅考虑劣质图像来执行。

为了完成图像恢复的任务,学习先验和显式先验是两种研究人员流行和主要使用的方法。

学习先验是一种直接的方法,训练深度卷积网络通过数据集了解世界,数据集将噪声图像作为输入,清晰图像作为所需输出。

另一方面,显式先验或人为的先验方法,其中我们嵌入硬约束并且从合成数据教导什么类型的图像是自然的等。在数学上表达像自然这样的约束是非常困难的。

在深度图像先验中,作者试图通过构造一个新的显式先验,使用卷积神经网络来弥合两种流行方法之间的差距。

理论基础

x→原始图像

ẋ→劣质图像

x *→恢复图像

我们可以使用最大后验分布来估计经验数据中的未观察值

使用贝叶斯规则,我们可以将其表示为先验。

我们可以将方程式表示为优化问题,而不是单独使用分布:

E(x;ẋ)是数据项,它是似然的负对数,R(x)是图像先前项,它是先验的负对数。

现在的任务是最小化图像x上的Eq(2)。 传统方法是用随机噪声初始化x,然后计算函数相对于x的梯度并遍历图像空间直到我们收敛到某个点。

另一种方法是构造函数g,其用随机θ初始化,来自不同空间的输出可以被映射到图像x并使用梯度下降来更新θ,直到它在某个点收敛。 因此,我们可以优化θ,而不是优化图像空间。

但是,为什么这种方法可行,我们为什么要使用它呢? 这是可能的,因为从理论上讲,如果g是满射g:θ↦x(如果至少一个θ映射到图像x)那么这个优化问题是等价的,即它们具有相同的解。 但实际上,g会极大地改变优化方法搜索图像空间的方式。 我们实际上可以将g视为超参数并对其进行调整。 如果我们观察到,g(θ)作为一个先验,它有助于选择一个良好的映射,给出一个所需的输出图像,并防止使用得到错误的图像。

现在,方程2可以表示为,

其中,z是随机固定输入图像,θ是随机初始化的权重,将使用梯度下降更新以获得所需的输出图像。

但是,为什么我们应该考虑这种参数化方法仍然不明显。 理论上乍一看,它似乎会产生原始的嘈杂图像。 在论文中,作者进行了一项实验,该实验表明,当使用梯度下降来优化网络时,卷积神经网络不会产生噪声图像,并且更快速,更容易地下降到自然的图像。

Deep Image Prior 步骤

ẋ = corrupted image (observed)

1.初始化z。 :用均匀噪声或任何其他随机图像填充输入z。

2.使用基于梯度的方法求解和优化函数。

3.最后,当我们找到最佳θ时,我们可以通过将固定输入z向前传递到具有参数θ的网络来获得最佳图像。

结论

本文试图证明构造具有随机权重的隐式先验内部深度卷积神经网络体系结构的方法非常适合于图像恢复任务。 本文中显示的结果主要表明,适当的手工制作的网络架构足以解决图像恢复任务。

本文分享自微信公众号 - 目标检测和深度学习(The_leader_of_DL_CV)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CVPR 2018 | Spotlight论文:变分U-Net,可按条件独立变换目标的外观和形状

    最近用于图像合成的生成模型备受关注 [7, 12, 18, 24, 49, 51, 32]。生成目标的图像需要对它们的外观和空间布局的详细理解。因此,我们必须分...

    朱晓霞
  • 计算机视觉必读:目标跟踪、网络压缩、图像分类、人脸识别等

    新智元专栏 作者:张皓(南京大学) 【新智元导读】深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一。本文以计算机视觉的重要概念为线索,介绍深度学...

    朱晓霞
  • CVPR 2018 | 使用CNN生成图像先验,实现更广泛场景的盲图像去模糊

    来自:机器之心 “现有的最优方法在文本、人脸以及低光照图像上的盲图像去模糊效果并不佳,主要受限于图像先验的手工设计属性。本文研究者将图像先验表示为二值分类器,训...

    朱晓霞
  • 数字图像处理的基本原理和常用方法

      数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于 20 世纪 50 年代,当时的电子计算机已经发展到一定水平,人们...

    bear_fish
  • 图像处理入门基础

    1、数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程,图像看成二维、三维或者更高维的信号。

    ZJY
  • IQ1: 怎么定义图像的质量?如何评价图像的质量?

    我的这个专栏叫做图像质量评价,但是什么叫做图像的质量呢? 图像质量是一个非常宽泛的概念,在不同情况下有不同的理解。

    HawkWang
  • 图解自监督学习,人工智能蛋糕中最大的一块

    如果人工智能是一块蛋糕,那么蛋糕的大部分是自监督学习,蛋糕上的糖衣是监督学习,蛋糕上的樱桃是强化学习。

    AI算法与图像处理
  • 图解自监督学习,人工智能蛋糕中最大的一块

    如果人工智能是一块蛋糕,那么蛋糕的大部分是自监督学习,蛋糕上的糖衣是监督学习,蛋糕上的樱桃是强化学习。

    石晓文
  • 【虫二】的人工智能

    艺术创作一直是人类精神活动的最高级形式,自古以来,人们认为只有人类的智慧才能真正领悟艺术作品的深远意境和奥妙神韵,玄而又玄的艺术风格更是只可意会,不可言传。近些...

    新智元
  • 图像处理,计算机视觉和人工智能之间的差异

    图像处理和计算机视觉是超级令人兴奋的研究和研究领域。随着人工智能的进步,这两个领域都在不断发展。

    材ccc

扫码关注云+社区

领取腾讯云代金券