英伟达发布新算法,可以重建缺失像素

AI 研习社按:本文由雷锋字幕组编译,原标题 New AI Imaging Technique Reconstructs Photos with Realistic Results,作者为 Nvidia Developer News Center。 翻译 | 李诚 孙启超 整理 | 凡江

日前,英伟达公司由 Guilin Liu 领导的研发团队发布了一种最先进的深度学习算法,可以编辑图像或复原那些像素有缺失的图像。

该方法还可以通过删除图像的部分内容再进行填充的方式,来重新编辑图像。

这种“图像修复”功能应用在照片编辑软件中,先抠掉图像中不需要的内容,同时用算法生成的真实数据来填充。

视频内容

论文中写道:“以前类似的深度学习方法重点放在位于图像中心的矩形区域,并且经常依赖于复杂的后处理操作,而我们的新模型有更好的效果。它可以鲁棒地处理任何形状、位置的马赛克遮挡。 并且未来可以更平滑地处理更大的区域。”

在着手训练神经网络之前,首先生成了 55,116 个具有随机纹理和任意形状、大小的马赛克形状作为训练集。他们还生成了近 25,000 个马赛克图形作为测试数据集。 为了提高图像重建的准确度,根据马赛克形状的相对大小把这些图像进一步分成了六类。

为了训练生成的马赛克例子

团队通过将生成的马赛克图案覆盖在 ImageNet,Places2 和 CelebA-HQ 数据集的图像上,使用 NVIDIA Tesla V100 GPU 和经过 cuDNN 加速的 PyTorch 深度学习框架来训练神经网络。

在训练阶段,将空白或缺失部分引入上述数据集完整的训练集中,使神经网络能够学习复原缺失的像素。在测试阶段,将与训练阶段不同形状的马赛克图案应用于测试集的图像中,从而提高复原精度的范化能力。

现有的基于深度学习的图像修复方法效果受限,是因为受损像素的输出一定依赖于这些像素提供给神经网络的输入。这导致图像中产生了颜色偏差和模糊的伪信息。

为了解决这个问题,研究团队开发了一种方法,确保受损像素的输出不依赖于因这些像素产生的输入值。这个方法是使用“部分卷积”层,根据其感受野的有效性对每个输出进行重新归一化 。这种重新归一化的方法可确保输出值与每个感受野中受损像素的值相互独立无关。该模型由 UNet 架构实现的部分卷积功能。使用一组损失函数来训练模型,匹配 VGG 模型的特征损失和风格损失以产生逼真的输出。

研发人员也在论文中引用到,相同的网络框架可以来完成高分辨率图像的处理任务。

论文参考:https://arxiv.org/pdf/1804.07723.pdf

博客原址: https://news.developer.nvidia.com/new-ai-imaging-technique-reconstructs-photos-with-realistic-results/

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2018-05-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

博客 | 新的网络优化方法:随机权值平均

在本文中,数据科学研究人员 Max Pechyonkin 讨论了最近两篇有趣的论文,它们提供了一种简单的方法,通过用一种巧妙的集成方式来提高任何给定神经网络的性...

10120
来自专栏大数据文摘

重磅长文|提高深度学习性能的四种方式

30870
来自专栏机器之心

学界 | 新研究提出DeepXplore:首个系统性测试现实深度学习系统的白箱框架

选自arXiv 机器之心编译 作者:Kexin Pei等 参与:吴攀、李亚洲 对于自动驾驶系统等事关人身安全的深度学习应用,了解其在极端情况下的表现是非常重要的...

36390
来自专栏人人都是极客

Peter教你谈情说AI | 01导读

机器学习已经慢慢演变成了根据已知模型 + 框架运用的开发,用不了多久机器学习就会变成像多媒体,图形开发等一样,只要根据已知的 api 开发相应的 AI app ...

9540
来自专栏AI科技评论

视频 | 英伟达发布新算法,可以重建缺失像素

AI 科技评论按:本文由雷锋字幕组编译,原标题 New AI Imaging Technique Reconstructs Photos with Realis...

12520
来自专栏机器之心

学界 | DeepMind提出关系RNN:记忆模块RMC解决关系推理难题

摘要:基于记忆的神经网络通过长期记忆信息来建模时序数据。但是,目前尚不清楚它们是否具备对记忆信息执行复杂关系推理的能力。在本论文中,我们首先确认了标准记忆架构在...

9220
来自专栏机器之心

4900篇NIPS 2018提交论文难评审?北京大学提出基于CNN的学术论文自动评分模型

22050
来自专栏Pytorch实践

Pytorch实现基于skip-gram的word2vec

对于词语的表示,最开始采用one-hot编码,用于判断文本中是否具有该词语;后来发展使用Bag-of-Words,使用词频信息对词语进行表示;再后来使用TF-I...

1.4K160
来自专栏AI科技评论

学界 | 新的网络优化方法:随机权值平均

AI 科技评论按:在本文中,数据科学研究人员 Max Pechyonkin 讨论了最近两篇有趣的论文,它们提供了一种简单的方法,通过用一种巧妙的集成方式来提高任...

14620
来自专栏磐创AI技术团队的专栏

谱聚类概述

16030

扫码关注云+社区

领取腾讯云代金券