专栏首页ATYUN订阅号基于深度学习方法可加快生成更清晰且逼真的图像

基于深度学习方法可加快生成更清晰且逼真的图像

编译 | 董灵灵

发布 | ATYUN订阅号

蒙特卡罗计算方法是游戏和电影中生成的许多逼真图像的基础。它自动模拟复杂的灯光和相机物理,从不同的图像特征和场景的样本生成高质量的效果图。但是渲染的过程很慢,可能需要几个小时甚至几天的时间才能生成一张图像,而且通常结果仍然是像素化的,或者是有噪声的。

麻省理工学院,Adobe和阿尔托大学的全球计算机科学家团队开发了一种新方法,通过使用基于深度学习的方法在很短的时间内生成更高质量的图像和场景设计,从而大大减少了图像中的噪声。

该方法可以生成更清晰的图像,有效地捕捉来自样本特征的复杂细节,包括复杂的照明组件,如阴影、间接照明、运动模糊和景深。

Adobe的研究科学家Gharbi表示:“算法可以通过非常少的样本通过嘈杂的输入图像生成干净的图像,并且可以在迭代场景设计时生成快速渲染的预览。”

该团队的工作重点是所谓的“去噪”,它基本上保留了图像的细节,并删除了任何有损其锐度的东西。

在以前的工作中,计算机科学家已经开发出一些方法,通过取样本图像和相邻像素中的像素的平均值来平滑噪点,有几部电影实际上已经在制作中使用了它,然而,如果图像太嘈杂,通常后处理方法无法恢复清晰锐利的图像。通常用户仍然需要平均每像素数百个样本才能获得质量合理的图像,这是一项繁琐,耗时的工作处理。

类似的是在图形软件程序中编辑照片的过程。如果用户不使用原始的原始文件,修改后的照片很可能不会生成清晰、清晰、高分辨率的最终图像。一个类似但更复杂的问题是图像去噪。

为此,研究人员的新计算方法涉及直接使用蒙特卡罗样本,而不是大多数信息已经丢失的平均噪声图像。与处理图像或视频的典型深度学习方法不同,研究人员演示了一种新型卷积网络,可以学习直接从原始蒙特卡罗样本集中去除渲染,而不是从简化的基于像素的表示中去除。

关键部分是一个新颖的内核预测计算框架,它将单个样本(颜色和纹理)“拼接(Splat)”到附近的像素上,以锐化图像的整体构图。在传统的图像处理中,内核用于模糊或锐化。Splatting是一种解决运动模糊或景深问题的技术,可以更轻松地平滑样本的像素化区域。

算法为每个样本生成一个2D内核,这是一种更自然的后处理方式。该团队使用随机场景生成器训练他们的网络,并在各种逼真场景上广泛测试他们的方法,包括各种照明场景,如间接和直接照明。该方法可以在非常低的样本数下提供更清晰的输出,以前的方法通常很难做到这点。

在未来的工作中,研究人员打算使他们的方法扩展到更多的样本特征,并探索实施去噪图像的帧到帧平滑性的技术。

End

本文分享自微信公众号 - ATYUN订阅号(atyun_com),作者:关注人工智能的

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【测试】技能测试问题和答案:测试图像处理数据科学家的25个问题

    1)将以下图像格式匹配到正确的频道数。 灰度 RGB I.1个通道 II.2个通道 III.3个通道 IV.4个通道 A)RGB – > I,灰度-> II...

    AiTechYun
  • AI结合人工X射线准确识别医学图像中的罕见情况

    一种新的人工智能系统通过人工X射线训练,有助于研究人员识别医学图像中罕见的医学状况。

    AiTechYun
  • 【学术】Google介绍了卷积神经网络NIMA模型,可对图像做出评估

    图像质量和美学的量化一直是图像处理和计算机视觉的一个长期存在的问题。虽然技术质量评估涉及到测量像素级的退化,如噪声、模糊、压缩失真等,但美学评估捕获了图像中与情...

    AiTechYun
  • 浅谈彩色图像、灰度图像、二值图像和索引图像区别

    彩色图像:每个像素由R、G、B三个分量表示,每个通道取值范围0~255。数据类型一般为8位无符号整形。

    种花家的奋斗兔
  • 【测试】技能测试问题和答案:测试图像处理数据科学家的25个问题

    1)将以下图像格式匹配到正确的频道数。 灰度 RGB I.1个通道 II.2个通道 III.3个通道 IV.4个通道 A)RGB – > I,灰度-> II...

    AiTechYun
  • 一文囊括图像处理25个高频考点

    从非结构化数据中提取有用的信息一直是研究界极为关注的话题。图像就是一种这样的非结构化数据,图像数据分析在商业的各个方面都有应用。

    AI算法与图像处理
  • C++ OpenCV图像的矩

    图像识别的一个核心问题是图像的特征提取,简单描述即为用一组简单的数据(数据描述量)来描述整个图像,这组数据月简单越有代表性越好。良好的特征不受光线、噪点、几何形...

    Vaccae
  • 高糊图片可以做什么?Goodfellow等人用它生成一组合理图像

    作者:David Berthelot、Peyman Milanfar、Ian Goodfellow

    代码医生工作室
  • 高糊图片可以做什么?Goodfellow等人用它生成一组合理图像

    作者:David Berthelot、Peyman Milanfar、Ian Goodfellow

    机器之心
  • 学界 | Ian Goodfellow最新论文:是猫还是狗?不光神经网络识别不了,你也能被忽悠

    大数据文摘

扫码关注云+社区

领取腾讯云代金券