专栏首页AI科技评论视频 | AI实时生成材质,效果直逼好莱坞大片

视频 | AI实时生成材质,效果直逼好莱坞大片

我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。

AI科技评论按:这里是,雷锋字幕组编译的Two minutes paper专栏,每周带大家用碎片时间阅览前沿技术,了解AI领域的最新研究成果。

原标题 :Gaussian Material Synthesis (SIGGRAPH 2018)

翻译 | 程炜 整理 | 凡江

视频内容

如果你要使用 Principled Shader 通过手动方式创建不同材质上逼真的光影效果,使用者必须对大量的材质参数进行手动微调,并且在每次设置后等待图片渲染才能完成整个过程。这需要你掌握一定的专业技能,并且经过大量的试错过程才能达到最好的效果。

为了优化这个流程,我们开发了基于学习的系统,它可以大批量地进行材质合成。

(1)首先,用户看到的是一个材质图库,左上角显示分数。这里我们学习了玻璃和透明材质的概念,通过学习几十个高分数的样本,我们的系统可以从学习到的分类中推荐更多新的材质,学习过程通常需要几秒钟,而大批量地进行推荐所需要的时间可以忽略不计。然后可以使用这些推荐将材质填充到场景中,通常每个推荐花费 40-60 秒来渲染全局照明。在真实世界的工作流程中,即使是对中等大小的图库来说,这个速度也是不能接受的。

(2)下一步,我们提出了一个卷积神经网络,它可以预测出这些材质的图像,使之与全局照明方法产生的图片相近,而且每幅图像只需要 3 毫秒,有时推荐的材质接近使用者的期望,但仍需要进行微调。

(3)最后,我们在直观二维隐空间中嵌入高维着色器描述符,使我们即使没有专门知识也可以对色彩进行探索和调整,但是如果没有更多的信息,它并不是非常有用。因为使用者并不知道哪个区域提供了有用的与它们分数符合的材质模型,我们重点关注隐空间技术,它可以结合高斯过程回归,提供一种期望偏好的直观色彩编码,帮助我们将关注区域高亮显示。

而且,我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。除了偏好图,这个神经网络提供了一种可能,可以将我们希望进行微调的这些新材质的期望相似度可视化,结合偏好和相似图,我们得到一个色彩编码,它会引导用户在隐空间中将材质调整为相似并且期望分数高。

我们已经进行了一个扩展的实验,加入更多表达形式的着色器,包括过程纹理反照率和替换,使用学习到的材质,推荐,以及嵌入的隐空间,填充接下来的场景,我们提出了一个可以大批量地进行材质合成系统,通过对用户偏好的学习,它可以从适量的样本中进行大量新材质模型的快速推荐。

除了这个流程,我们还结合了三种强大的学习算法,从而为实时的逼真材质可视化,颜色探索,以及二维隐空间微调提供了可能,我们相信这个特征设置为大批量材质合成提供了有用的解决方案,无论是对于新手还是专家来说,都希望未来将多种先进算法,结合到更多的探索工作当中。

视频原址:https://www.youtube.com/watch?v=6FzVhIV_t3s

论文原址:https://arxiv.org/pdf/1804.08369.pdf

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 开发 | 用深度学习技术,让你的眼睛可以控制电脑

    本文为 AI 研习社编译的技术博客,原标题 Use your eyes and Deep Learning to command your computer —...

    AI科技评论
  • 我们之所以愿意围观马特•达蒙MIT的毕业演讲 是因为有几句触及灵魂

    GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,谷歌,DeepMind,Uber,微软等巨头的人...

    AI科技评论
  • 贾佳亚加盟腾讯优图后首次公开亮相:计算机视觉有哪三种打开方式?

    腾讯优图实验室杰出科学家贾佳亚,香港中文大学计算机科学工程系终身教授,于 2017 年 5 月 15 日公布消息,全职加入腾讯优图实验室,负责计算机视觉、图像处...

    AI科技评论
  • AI 实时生成材质,效果直逼好莱坞大片

    如果你要使用 Principled Shader 通过手动方式创建不同材质上逼真的光影效果,使用者必须对大量的材质参数进行手动微调,并且在每次设置后等待图片渲染...

    AI研习社
  • ZAM 3D入门教程(8):Zam3D中

    在Zam 3D是世界里,我们使用材质来描述颜色。不同于二维世界中的矢量图形,在Zam 3D中,我们可以使用灯光、是否平滑等来控制我们的对象的表面。

    py3study
  • three.js 材质

    今天郭先生说一说three.js的材质。材质描述了对象objects的外观。它们的定义方式与渲染器无关, 因此,如果您决定使用不同的渲染器,不必重写材质。

    郭先生的博客
  • 如何在 Creator3D 中切换模型贴图,超级简单

    前两天有伙伴在 QQ 上询问,如何在 Creator 3D 中切换模型贴图。Shawn 之前也没尝试过,不过根据之前 Cocos Creator 的经验以及这几...

    张晓衡
  • ARKit 进阶:材质

    光照与材质,是决定 3D 世界中的模型如何渲染的关键参数。许多时候模型的渲染对与不对,往往只是一种视觉的感受。由于不是测试驱动的,所以多数情况下,考验的不是你的...

    郭艺帆
  • 优化3DS MAX的建模

      通常我们总是希望3DS MAX的文件越小越好,一是文件太大3DS MAX本身运行速度就会受影响,二是导出的文件需要在TerraExplorer里面使用,超过...

    py3study
  • 聊聊两个状态管理库 Redux & Recoil

    React 是一个十分优秀的UI库, 最初的时候, React 只专注于UI层, 对全局状态管理并没有很好的解决方案, 也因此催生出类似Redux 这样优秀的状...

    用户6900878

扫码关注云+社区

领取腾讯云代金券