无需在数据集上学习和预训练,这种图像修复新方法效果惊人 | 论文

林鳞 编译自 Github 量子位 出品 | 公众号 QbitAI

Reddit上又炸了,原因是一个无需在数据集上学习和预训练就可以超分辨率、修补和去噪的方法:Deep image prior。

帖子的博主是俄罗斯斯科尔科沃科技研究院(Skoltech)的博士生Dmitry Ulyanov,他介绍了与两名导师 Victor Lempitsky和Andrea Vedaldi共同完成的论文《Deep Image Prior》。

效果惊人

在项目主页上,我们看到了Deep image prior惊人的修复结果。

在这些示例中,研究人员用深度神经网络分析了几个图像恢复问题。值得注意的是,研究人员从来没用数据集来训练或预先训练过它们,而是作为一个结构化的图像整体。

其中蜗牛图的恢复为典型的JPEG压缩图像的盲修复问题,通过不断迭代,这种新方法可以恢复大部分信息同时消除色圈和块效应。

在4x图像超分辨率的演示中我们发现,新方法从使用过任何一张低分辨率的图像,但却生成了更清晰的结果。

4x图像超分辨率结果

在区域修补示例中,尽管没有学习,但新方法可以成功修复大块区域,在这种操作中,超参数的选择很重要。

区域修补结果

此外,研究人员还与Shepard网络了卷积稀疏编码的效果对比,对比一看,还是新方法的效果更好。

上部分为与Shepard网络的对比,下部分为与卷积稀疏编码的对比

论文摘要

深度卷积网络已然成为图像生成和修复最流行的工具。因为它们能从大量示例图像中学习真实的图像先验(image prior),因此在处理图像时效果显著。

与上述思路相反,在这篇文章中,研究人员表明,生成网络能够在开始任何学习前捕获大量low-level的图像统计信息。为了证明这一点,研究人员还展示了一个随机初始化的神经网络可以作为一个手工先验(handcraft prior),在去噪、超分辨率、图像修复等标准的逆问题上效果很好。

此外,同样的先验可以用来反推深度神经表征进行诊断,并根据输入闪光/无闪光图像对恢复图像。

参考资料

其实,在项目首页上还有更多好玩的对比示例,地址为:

https://dmitryulyanov.github.io/deep_image_prior

论文地址:

https://sites.skoltech.ru/app/data/uploads/sites/25/2017/11/deep_image_prior.pdf

补充材料:

https://box.skoltech.ru/index.php/s/ib52BOoV58ztuPM#pdfviewer

代码地址:

https://github.com/DmitryUlyanov/deep-image-prior/blob/master/README.md

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-12-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 清华等机构提出基于内部一致性的行人检索方法,实现当前最优

行人检索又叫行人重识别(person re-identification,re-ID),即基于给定行人,从大型数据库中检索特定相关人行道的图像。目前,深度学习方...

1140
来自专栏专知

【干货】​在Python中构建可部署的ML分类器

【导读】本文是机器学习爱好者 Sambit Mahapatra 撰写的一篇技术博文,利用Python设计一个二分类器,详细讨论了模型中的三个主要过程:处理不平衡...

38411
来自专栏深度学习自然语言处理

这些神经网络调参细节,你都了解了吗

今天在写本科毕业论文的时候又回顾了一下神经网络调参的一些细节问题,特来总结下。主要从weight_decay,clip_norm,lr_decay说起。

1712
来自专栏杨熹的专栏

用 TensorFlow 创建自己的 Speech Recognizer

参考资料 源码请点:https://github.com/llSourcell/tensorf... ---- 语音识别无处不在,siri,google,讯飞...

3215
来自专栏机器之心

预训练BERT,官方代码发布前他们是这样用TensorFlow解决的

本文介绍的两个 BERT 实现项目分别基于 TensorFlow 和 Keras,其中基于 TensorFlow 的项目会使用中等数据集与其它技巧降低计算力,并...

1502
来自专栏机器之心

ACL 2018 | 神经语言模型如何利用上下文信息:长距离上下文的词序并不重要

2385
来自专栏机器之心

学界 | 深度神经网络的分布式训练概述:常用方法和技巧全面总结

深度学习已经为人工智能领域带来了巨大的发展进步。但是,必须说明训练深度学习模型需要显著大量的计算。在一台具有一个现代 GPU 的单台机器上完成一次基于 Imag...

2202

深入学习Apache Spark和TensorFlow

神经网络在过去的几年中取得了惊人的进展,现在它们已经成为图像识别和自动翻译领域的领先技术。TensorFlow是Google发布的用于数值计算和神经网络的新框架...

3097
来自专栏大数据智能实战

pyaudio库的安装(portaudio.h文件无法找到问题解决)

pyaudio是语音处理的python库,提供了比较丰富的功能。 具体功能如下: 特征提取(feature extraction):关于时域信号和频域信号都有...

3645
来自专栏机器之心

教程 | 如何通过距离度量学习解决Street-to-Shop问题

3728

扫码关注云+社区

领取腾讯云代金券