毫秒级图像去噪!英伟达、MIT新AI系统完美去水印


新智元报道

来源:arxiv

编译:肖琴

【新智元导读】没有什么能阻挡我们对高清无码大图的向往。在ICML2018上,英伟达和MIT等机构的研究人员展示了一项图像降燥技术Noise2Noise,能够自动去除图片中的水印、模糊等噪音,几乎能完美复原,而且渲染时间是毫秒级。

论文地址:https://arxiv.org/pdf/1803.04189.pdf

去水印技术又上了个新台阶。

由Nvidia、麻省理工学院和阿尔托大学开发的深度学习去噪方法,无需使用没有“噪声”的清晰图像,就能够实现完美去水印。

效果如下:

什么是图片“噪声”?

如果你在日落之后拍摄过照片,那么你可能对图像的“噪声”很熟悉了。当用摄像头对焦光线昏暗的场景时,图像会呈现颗粒、异常的彩色或白色斑点。

人们现在可以用软件在一定程度上去噪或降噪,深度学习方法去噪也已经有一些解决方案,但存在一个重要缺陷:需要配对的清晰图像和噪声图像来训练神经网络。

如何生成清晰的图像是医学成像检测(如MRI)和天文图像中的共同问题,因为这些场景根本没有足够的时间和光线来拍摄清晰图像。时间在计算机图形技术中也是一个问题。生成清晰的图像数据来训练降噪器的任务可能需要几天或几周的时间。

视频内容

Noise2Noise:

该团队使用了来自ImageNet数据集的5万张图像来训练其人工智能系统,该系统能够从图像中去除噪声,即使它从未见过没有噪声的对应图像。

这个名为“噪声到噪声”(Noise2Noise)的AI系统是使用深度学习创建的,它不是基于配对的清晰图像和噪声图像来训练网络,而是基于配对的噪声图像来训练网络,并且只需要噪声图像。计算机生成的图像和MRI扫描图像也被用来训练Noise2Noise。

通过只使用噪声来训练Noise2Noise,研究人员希望这种方法可以用于已知含有大量噪声的图像,比如天体摄影、核磁共振成像(MRI)或大脑扫描图像。

从左到右:输入的噪声图像、去噪图像、和原始图像

来自IXI数据集的50名人类受试者的近5000张图像被用于训练Noise2Noise的MRI图像去噪能力。在没有人工噪声的情况下,结果可能比原始图像稍微模糊一些,但仍然很好地还原了清晰度。

MRI图像去噪

Nvidia的研究人员Jacob Munkberg说:“这是一个概念证明,我们在一个公共核磁共振数据库上进行训练,但在未来,它可能会显示出在实际应用中的希望。”

Noise2Noise系统通过使用一个神经网络来实现这一点,该神经网络使用有损的图像来训练。它不需要干净的图像,但它需要观察源图像两次。实验表明,受不同的合成噪声(加性高斯噪声、泊松噪声和binomial噪声)影响的目标图像仍能与使用干净样本恢复的图像有“几乎相同”的质量。该系统最令人兴奋的是,它可以显著减少图像渲染所需的时间——毫秒级别

研究人员在论文中写道:“我们观察到,在适当的,常见的情况下,我们可以学习仅从损坏的示例重建信号,而无需观察干净的信号,并且其效果与使用干净样本一样好。如我们在下文所展示的,从统计角度来看,我们的结论可能是微不足道的,但在实践中,通过解除对清洁数据可用性的要求,这种方法显着简化了学习信号的重建。”

实验:

我们通过实验研究了噪声目标(noisy-target)训练的实际特性,并确定了不需要干净目标的各种情况。

加性高斯噪声(Additive Gaussian noise)

首先,我们用加性高斯噪声研究噪声目标的影响。这是一种简单的分布,我们可以从中抽取样本,从而通过破坏干净的图像来生成无限数量的合成训练数据。

对高斯噪声去噪的示例

这里,我们的baseline是最近state-of-the-art的方法“RED30”,这是一个具有128个特征图的30层的分层残差网络,已经被证明是非常有效的。

对加性高斯噪声的去噪性能

来自3个测试数据集KODAK, BSD300和SET14的PSNR结果,包括高斯噪声、泊松噪声和Bernoulli noise噪声

泊松噪声(Poisson noise)

泊松噪声是照片噪声的主要来源。它和高斯一样是零均值,但是很难去除,因为它与信号有关。

对Poisson noise去噪的示例

眼部的细节

高斯噪声、泊松噪声和Bernoulli noise噪声的示例结果。

去除图像中文字的效果:

从此不怕弹幕挡脸

如果要去除图像中的文字,正确答案是中间值(L1 loss)而不是平均值(L2 loss)

随机值脉冲噪声用噪声代替了一些像素,并保留了其他像素的颜色。

脉冲噪声去噪示例

在随机值脉冲噪声的情况下,模式(L0)产生了无偏的结果,与平均值(L2)或中间值(L1)不同

这项工作将于本周在瑞典斯德哥尔摩召开的ICML会议上公布。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-07-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

AI 技术讲座精选:OpenAI 最新成果——利用对抗样本攻击机器学习

对抗样本是指攻击者故意设计以导致机器学习模型出错的输入样本;他们对机器来说就像是视觉幻觉一样。在本篇博文中,我们将向您展示对抗样本在不同介质中的运作原理,也将讨...

369100
来自专栏人工智能

对深度学习的降维攻击—人工智能系统数据流中的安全风险

深度学习在很多领域受到广泛关注。尤其在图形图像领域里,人脸识别和自动驾驶等应用正在逐渐进入我们的生活。深度学习的流行与普及也自然带来了安全方面的考虑。目前对深度...

400100
来自专栏AI科技评论

学界 | 谷歌团队提出应用于噪声语音识别的在线序列到序列模型

近日谷歌团队发布了一篇关于语音识别的在线序列到序列模型,该模型可以实现在线实时的语音识别功能,并且对来自不同扬声器的声音具有识别功能。 以下内容是 AI 科技评...

33180
来自专栏新智元

ICLR 2018最佳论文重磅出炉!Adam新算法、球形CNN等受关注

---- 新智元报道 作者:小潘 【新智元导读】今天,ICLR官网公布了ICLR 2018的最佳论文,一共三篇。这些论文在被ICLR接收之后持续得到讨论...

36770
来自专栏个人分享

统计学中抽样调查和一些常用的方法

抽样调查的领域涉及如何用有效的方式得到样本。这些调查都利用了问卷,而问卷的设计则很有学问。它设计如何用词、问题的次序和问题的选择与组合等等。涉及包括心理学、社会...

37030
来自专栏算法channel

了解这5种常用的概率分布,能让你跳过不少坑

学习机器学习算法过程中,少不了概率分布的概念,说起概率分布我的脑中除了正太分布那条线就再也没有其他印象了,这个缺陷使我在推导公式过程中遇到很多坑,也在理解数据特...

14800
来自专栏数说工作室

【分类战车SVM】第五话:核函数(哦,这实在太神奇了!)

分类战车SVM (第五话:核函数 修正版) 转载请注明来源 微信公众号:数说工作室 新浪微博:数说工作室网站 前段时间热映的《星际穿越》想必大家都看过,在这部...

372120
来自专栏AI科技评论

机器视觉的阿基里斯之踵,秘密都在谷歌Brain论文中

“从一些方面看,机器视觉比人类视觉更好。但是现在研究人员找到了一类能够轻松‘愚弄’机器视觉的‘对抗性图像’。“——来自arXiv的Emerging Techno...

31460
来自专栏AI科技评论

ICLR-17最佳论文作者Nicolas Papernot现场演讲:如何用PATE框架有效保护隐私训练数据?(附视频)

AI科技评论按:ICLR 2017 总共有三篇最佳论文,其中有一篇是关于如何有效保护机器学习训练中的隐私数据,名为「用半监督知识迁移解决深度学习中训练数据隐私问...

37340
来自专栏AI科技评论

深度丨贝叶斯机器学习到底是什么?看完这篇你就懂啦

AI 科技评论按:不少人都在机器学习的过程中听说过贝叶斯分类器,但它是如何与机器学习建立联系的?作者Zygmunt Zając 提供了一些基础概念,AI 科技评...

44250

扫码关注云+社区

领取腾讯云代金券