专栏首页深度学习和计算机视觉SIGGRAPH提出的图像修复技术

SIGGRAPH提出的图像修复技术

1.图像修复技术及其优缺点

2.SIGGRAPH论文提出的算法

3.图像修复技术的示例

图像修复技术

图像修复技术是一种用可选内容填充目标区域的技术,它的主要用途是在对象删除任务中,从照片中删除一个对象,并用希望能保持图像上下文完整性的内容自动替换被删除的部分。

图像块匹配算法是图像修复技术这一领域最著名的算法,它曾经被photoshop运用在其内容感知填充的功能上。来看下面这个例子:从左侧图像中删除右下角的花后,通过图像块匹配算法生成的图像:

图像块匹配算法生成自然场景的图像修复技术示例

看上去修复效果是不是很不错?

但图像块匹配算法也有一定的缺点,如只能使用来自输入图像的纹理来补充被删除的部分。因此,对于像上面的花卉图片这样的简单图像,其恢复效果很好,原因在于,利用图像块匹配算法可以得出绿叶是花卉图片的主要纹理,从而找到被删除部分与已有图像的关联。但如果是更复杂的图像,比如说含有人脸的图像修复,仅仅从一张脸的输入图像中,我们很难将受损图像完全修复。

下面是一个通过图像块匹配算法完成的图像修复的示例:

由图像块匹配算法生成的面部图像修复技术示例

大家有没有觉得很滑稽?缺失的人脸并没有被正确地修复。

因此我们可以看到,仅从单张输入图像中寻找到的信息,是不足以完成图像修复任务的。

论文中提到的解决方案

论文作者的提出通过使用大量的自然场景图像数据库,训练一个单一的深度学习网络来修复图像。Places2数据集能够完成这一目的,其包含超过800万个不同自然场景的图像,能够从中总结出自然场景固有的一致性,即填补图像中缺失空白的信息是从这800万张图像中获得的,而不仅仅是一张图像。

当图像修复技术的深部神经网络的训练完成时,GAN就能够进一步改善深部神经网络。

GAN是一种无监督的神经网络训练技术,在训练阶段使用一个或多个神经网络相互改进。当一个神经网络试图欺骗另一个神经网络时,所有神经网络都会根据这一步骤得到的结果进行更新。然后我们就可以让这些神经网络运行很长一段时间,它们就能够相互改进,达到我们的要求。

全局和本地的环境鉴别器网络则被用于改善图像修复技术网络。前者通过观察整个图像来评估其整体是否连贯,后者则通过查看以修复区域为中心的微小区域,来确保生成补丁的本地一致性。也就是说,有两个辅助的网络来帮助训练。这两个辅助网络返回一个结果,以检测生成的图像的真伪性。

整个培训阶段需要在一台配备四个高端GPU的机器上花费2个月的时间才能完成,因此耗费的时间也是很多的。

下图是解决方案的培训架构:

图像修复技术培训体系结构概述

通常,要修复一张1024 x 1024分辨率的图像,在配有单个CPU的计算机上大约需要8秒,在配有适当GPU的计算机上大约需要0.5秒。

论文方法示例

下面我们来看一个运用改进方法进行复杂的人脸图像修复的具体示例:

人脸上的图像修复技术的示例

修复效果比图像块匹配算法修复的效果要好上很多。

除了人脸修复,还有很多复杂的图像修复案例,再来看看下面这些:

图像修复技术示例

本文分享自微信公众号 - 小白学视觉(NoobCV)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-03-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微软Dynamics365的AI长什么样?

    今天想和大家谈谈Dynamics 365的AI,Dynamics 365中包含了微软的CRM解决方案,在上个月底进入了中国,建立了中国的数据中心,我们有必要来了...

    臭豆腐
  • KDD 2019 | 腾讯广告算法团队关于库存预估的一作论文被 KDD 2019 录用

    导语:腾讯广告算法团队关于库存预估的论文《 Large-scale User Visits Understanding and Forecasting with...

    AI科技评论
  • 看了很多技术书,为啥仍然写不出项目?

    这大概是还在读书的同学最大的困惑了。自己明明看了很多书,感觉不到自己的进步,很有挫败感。计算机科学是一门实践的科学,你发现你看了《现代操作系统》,《CSAPP》...

    Leetcode名企之路
  • 03_有监督学习--简单线性回归模型(调用 sklearn 库代码实现)

    有监督学习--简单线性回归模型(调用 sklearn 库代码实现)0.引入依赖1.导入数据(data.csv)2.定义损失函数3.导入机器学习库 sklearn...

    黑泽君
  • 中国学者顶级期刊发文:AI精准预测肾病预后

    中国大约有1.2亿慢性肾病(CKD)患者。其中有一种最常见的肾病,它的病因尚不完全清楚,且其远期预后非常不理想。它就是 IgA 肾病(IgA nephropat...

    新智元
  • 机器学习面试题集-图解准确率,精确率,召回率

    当样本比例非常不均衡时,比如某类别占 样本比例 80%时,分类器把所有样本都预测为这个类别,也可以获得 80%的准确率

    杨熹
  • 微软研究院出品《数据科学基础》,放眼未来40年(PDF下载)

    计算机科学作为一门科学始于20世纪60年代。计算机科学的重点是编程语言、编译器、操作系统以及为这些领域提供支撑的数学理论。理论计算机科学课程涵盖有限自动机、正则...

    新智元
  • 揭秘PyTorch内核!核心开发者亲自全景解读(47页PPT)

    PyTorch是一个开源的Python机器学习库,基于Torch,已成为最受欢迎的机器学习框架之一。

    新智元
  • 《机器学习基础》(第二版)免费下载!纽约大学14年教学精华

    MIT出版社出版的《机器学习基础》(第二版)PDF和HTML资源均已免费开放下载。距离第一版出版已有6年之久。

    新智元
  • 清华姚班毕业生马腾宇获ACM博士论文奖荣誉奖

    ACM博士学位论文奖每年向计算机科学与工程领域的最佳博士论文作者颁发一次。博士论文奖奖金2万美元,荣誉奖奖金1万美元。获奖论文将作为ACM系列书籍在ACM数字图...

    新智元

扫码关注云+社区

领取腾讯云代金券