专栏首页深度学习和计算机视觉解密深度图像先验,使用深度图像先验来复原图像

解密深度图像先验,使用深度图像先验来复原图像

图像恢复介绍

图像恢复是指从退化图像中恢复未知真图像的任务。图像的退化可能发生在图像的形成、传输和存储过程中。这个任务有一个广泛的使用范围,卫星成像,暗光线的摄影,由于数字技术的发展,计算机和通信技术恢复退化图像是非常重要的,因此,这已经演变成一个交叉研究领域,包括图像处理,计算机视觉和计算成像。

图像恢复主要有三个任务:

1. 图像去噪

图像去噪是指对加性噪声污染的图像进行恢复。这是图像恢复中最简单的任务,因此已被多个技术团体广泛研究。

Fig.1 (左)加噪声的图, (中间)真实图, (右)高斯噪声

2. 超分辨率

超分辨率是指从一组低分辨率图像中生成高分辨率图像(或高分辨率图像序列)的过程。

Fig2. (左)低分辨率图像, (右)高分辨率图像

3. 图像修复

图像修复是对丢失的图像退化部分进行重建的过程。In-painting其实是一种古老的艺术,它要求人们去画出画作中已经变质和遗失的部分。但在当今世界,研究人员已经想出了许多方法,利用深度卷积网络来实现这一任务的自动化。

Fig. 3 (左) 输入, (右) 输出

什么是深度图像先验?

随着2012年alexnet在image-net比赛中的成功,卷积神经网络在计算机视觉和图像处理任务中得到了广泛的应用,被广泛应用于执行图像的逆重构任务,并取得了优异的成绩。

深度卷积网络之所以成功,是因为它能够从大量的图像数据集中学习。Dmitry Ulyanov在其令人吃惊的论文《Deep Image Prior》中指出,为了解决像图像恢复这样的逆问题,网络的结构是充分的,并且在从退化图像中恢复原始图像时施加了一个强先验。本文强调,要完成这些任务,不需要预先训练的网络或大型图像数据集,只需考虑退化图像即可完成。

学习先验和显式先验是图像恢复中最常用的两种方法。

学习先验是一种通过数据集直接训练深度卷积网络学习世界的方法,它以噪声图像作为输入,以干净图像作为期望输出。

另一方面,显式先验或手工先验方法,是我们嵌入一个硬约束,并从生成的数据中教给网络什么类型的图像是自然的,比如说脸等。用数学的方法来表达约束条件是非常困难的。

我们来看看技术...

Fig.4. (左)干净图像, (中间)退化的图像,(右)复原图像

x干净图像

退化图像

x*恢复图像

我们可以使用最大后验分布从经验数据估计未观测值

利用贝叶斯规则,我们可以把它表示为似然×先验

我们可以把这个方程写成最优化问题,而不是单独处理分布:

对式(1)加个负号

E(x;ẋ)是数据项,也就是似然的负对数,R(x)是图像的先验项,也就是先验的负对数。

现在的任务是在图像x上最小化Eq(2)。传统的方法是用随机噪声初始化x,然后计算函数关于x的梯度,遍历图像空间直到收敛到某个点。

Fig. 5 常规方法的可视化

另一种方法是构造一个函数g,使用随机θ进行初始化,其输出来自一个不同的空间,可以映射成图像x,并且可以使用梯度下降来更新θ直到收敛到某个点。所以,与其在图像空间进行优化,我们可以优化θ。

FIg. 6 参数方法的可视化

但是,为什么这种方法是可能的,为什么我们应该使用它?这是有可能的,因为从理论上讲,如果g是满射的g:θ↦x (如果至少一个θ映射到图像x )那么这个优化问题是等价的,这样他们有相同的解决方案。但是在实践中,优化方法搜索图像空间的方式发生了巨大的变化。实际上,我们可以将g视为超参数并对其进行优化。如果我们观察,g(θ)作为先验可以帮助选择一个好的映射,能够输出所需的图像并且可以防止我们得到错误的图片。

那么,不是去优化两个分量的和。我们现在只优化第一项。

现在Eq 2,可以表示为,

其中,z 是随机的固定输入图像,θ是随机初始化权,可以梯度下降法来进行更新,以获得所需的输出图像。

但为什么要考虑这种参数化方法还不清楚。理论上乍一看,它似乎会产生原始的噪声图像。在本文中,作者进行了一个实验,该实验表明,当使用梯度下降法对网络进行优化时,卷积神经网络不愿意接受噪声图像,更容易快速地向自然图像下降。

Fig. 7 重建任务的学习曲线使用:一张自然图像,加上相同的i.i.d.噪音,相同的随机打乱,白噪声。自然外观的图像收敛速度更快,而噪声被拒绝。

一步一步来做深度图像先验

ẋ=损坏图像(观察)

  1. 初始化z:用均匀噪声或任何其他随机图像填充输入z。
  2. 求解,利用基于梯度的方法对函数进行优化。
  1. 最后当我们找到最佳的θ,我们可以获得最佳的图像,只需向使用参数θ的网络中传入固定的输入z,然后前向传播就可以了。

Fig. 8: 利用深度图像先验进行图像恢复。从一个随机权重θ0,我们通过最小化数据项方程(2)反复进行更新。在每一个迭代权重θ映射到图像x = fθ(z), z是一个固定的张量和映射f是一个神经网络其参数为θ。图像x用于计算任务相关损失E(x, x0),损失关于θ的梯度,.然后更新参数。

本文分享自微信公众号 - 小白学视觉(NoobCV),作者:ronghuaiyang

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于TensorFlow和Keras的图像识别

    TensorFlow和Keras最常见的用途之一是图像识别/分类。通过本文,您将了解如何使用Keras达到这一目的。

    小白学视觉
  • ICCV 2019 最佳论文《SinGAN:从单张自然图像学习生成式模型》中文全译

    作者 | Tamar Rott Shaham Technion、Tali Dekel Google Research 、Tomer Michaeli Techn...

    小白学视觉
  • 计算机视觉系统中图像究竟经历了哪些“折磨”

    如今,计算机视觉(CV)已成为人工智能的主要应用之一(例如,图像识别,对象跟踪,多标签分类)。在本文中,我们将了解构成计算机视觉系统的一些主要步骤。

    小白学视觉
  • 数字图像处理的基本原理和常用方法

      数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于 20 世纪 50 年代,当时的电子计算机已经发展到一定水平,人们...

    bear_fish
  • 图像处理入门基础

    1、数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程,图像看成二维、三维或者更高维的信号。

    长风破浪
  • IQ1: 怎么定义图像的质量?如何评价图像的质量?

    我的这个专栏叫做图像质量评价,但是什么叫做图像的质量呢? 图像质量是一个非常宽泛的概念,在不同情况下有不同的理解。

    HawkWang
  • 图解自监督学习,人工智能蛋糕中最大的一块

    如果人工智能是一块蛋糕,那么蛋糕的大部分是自监督学习,蛋糕上的糖衣是监督学习,蛋糕上的樱桃是强化学习。

    AI算法与图像处理
  • 图解自监督学习,人工智能蛋糕中最大的一块

    如果人工智能是一块蛋糕,那么蛋糕的大部分是自监督学习,蛋糕上的糖衣是监督学习,蛋糕上的樱桃是强化学习。

    石晓文
  • 【虫二】的人工智能

    艺术创作一直是人类精神活动的最高级形式,自古以来,人们认为只有人类的智慧才能真正领悟艺术作品的深远意境和奥妙神韵,玄而又玄的艺术风格更是只可意会,不可言传。近些...

    新智元
  • 图像处理,计算机视觉和人工智能之间的差异

    图像处理和计算机视觉是超级令人兴奋的研究和研究领域。随着人工智能的进步,这两个领域都在不断发展。

    材ccc

扫码关注云+社区

领取腾讯云代金券