AI 实时生成材质,效果直逼好莱坞大片

AI 研习社按:这里是,雷锋字幕组编译的Two minutes paper专栏,每周带大家用碎片时间阅览前沿技术,了解AI领域的最新研究成果。 原标题 :Gaussian Material Synthesis (SIGGRAPH 2018) 翻译 | 程炜 整理 | 凡江

视频内容

如果你要使用 Principled Shader 通过手动方式创建不同材质上逼真的光影效果,使用者必须对大量的材质参数进行手动微调,并且在每次设置后等待图片渲染才能完成整个过程。这需要你掌握一定的专业技能,并且经过大量的试错过程才能达到最好的效果。

为了优化这个流程,我们开发了基于学习的系统,它可以大批量地进行材质合成。

(1)首先,用户看到的是一个材质图库,左上角显示分数。这里我们学习了玻璃和透明材质的概念,通过学习几十个高分数的样本,我们的系统可以从学习到的分类中推荐更多新的材质,学习过程通常需要几秒钟,而大批量地进行推荐所需要的时间可以忽略不计。然后可以使用这些推荐将材质填充到场景中,通常每个推荐花费 40-60 秒来渲染全局照明。在真实世界的工作流程中,即使是对中等大小的图库来说,这个速度也是不能接受的。

(2)下一步,我们提出了一个卷积神经网络,它可以预测出这些材质的图像,使之与全局照明方法产生的图片相近,而且每幅图像只需要 3 毫秒,有时推荐的材质接近使用者的期望,但仍需要进行微调。

(3)最后,我们在直观二维隐空间中嵌入高维着色器描述符,使我们即使没有专门知识也可以对色彩进行探索和调整,但是如果没有更多的信息,它并不是非常有用。因为使用者并不知道哪个区域提供了有用的与它们分数符合的材质模型,我们重点关注隐空间技术,它可以结合高斯过程回归,提供一种期望偏好的直观色彩编码,帮助我们将关注区域高亮显示。

而且,我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。除了偏好图,这个神经网络提供了一种可能,可以将我们希望进行微调的这些新材质的期望相似度可视化,结合偏好和相似图,我们得到一个色彩编码,它会引导用户在隐空间中将材质调整为相似并且期望分数高。

我们已经进行了一个扩展的实验,加入更多表达形式的着色器,包括过程纹理反照率和替换,使用学习到的材质,推荐,以及嵌入的隐空间,填充接下来的场景,我们提出了一个可以大批量地进行材质合成系统,通过对用户偏好的学习,它可以从适量的样本中进行大量新材质模型的快速推荐。

除了这个流程,我们还结合了三种强大的学习算法,从而为实时的逼真材质可视化,颜色探索,以及二维隐空间微调提供了可能,我们相信这个特征设置为大批量材质合成提供了有用的解决方案,无论是对于新手还是专家来说,都希望未来将多种先进算法,结合到更多的探索工作当中。

视频原址:

https://www.youtube.com/watch?v=6FzVhIV_t3s

论文原址:

https://arxiv.org/pdf/1804.08369.pdf

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2018-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

谷歌有只AI,自动给黑白视频上色,走到哪它都认识你

1265
来自专栏机器之心

变革尚未成功:深度强化学习研究的短期悲观与长期乐观

选自alexirpan 机器之心编译 参与:Nurhachu Null、刘晓坤 深度强化学习是最接近于通用人工智能(AGI)的范式之一。不幸的是,迄今为止这种方...

4746
来自专栏机器之心

线性代数与张量?这本开放书籍帮你扫清通往ML的数学绊脚石

项目地址:https://web.stanford.edu/~boyd/vmls/

942
来自专栏企鹅号快讯

深度学习的核心工作流程之一:如何训练数据!

-免费加入AI技术专家社群>> 今天我们将讨论深度学习中最核心的问题之一:训练数据。深度学习已经在现实世界得到了广泛运用,例如:无人驾驶汽车,收据识别,道路缺陷...

2615
来自专栏量子位

六大你应该了解的人工智能和机器学习核心领域

到底什么是人工智能(AI)? 有些人把AI重新解释为“认知计算”或“机器智能”,而其他人错误的将AI与“机器学习”混淆起来。其实AI不是一种技术。它实际上是一个...

2095
来自专栏AI研习社

CVPR 2018摘要:第二部分

今天,我们继续推出最近的CVPR(计算机视觉和模式识别)会议系列,这是世界上计算机视觉的顶级会议。 Neuromation成功参加了DeepGlobe研讨会,现...

952
来自专栏AI科技评论

改进模型架构遇到了瓶颈?你该考虑改善自己的数据了!

AI 科技评论按:这篇博客来自 Jetpac(现被谷歌收购) CTO、苹果毕业生、TensorFlow 团队成员 Pete Warden。文中讨论了一个很容易被...

1275
来自专栏量子位

推荐系统中的冷启动和探索利用问题探讨

作者:文辉 | 达观数据 量子位 已获授权编辑发布 1.前言 互联网技术和大数据技术的迅猛发展正在时刻改变我们的生活,视频网站、资讯app、电商网站对于推荐系统...

7887
来自专栏机器之心

学界 | Facebook「1小时训练ImageNet」论文与MXNet团队发生争议,相关研究介绍

机器之心报道 机器之心编辑部 近日,Facebook 公布了一篇研究论文《Accurate, Large Minibatch SGD: Training Ima...

3987
来自专栏机器之心

学界 | Yoshua Bengio等人提出MILABOT:强化学习聊天机器人

选自arXiv 作者:Iulian V. Serban等 机器之心编译 参与:路雪、李泽南 The Alexa Prize 是亚马逊在对话人工智能领域中发起的一...

2939

扫码关注云+社区

领取腾讯云代金券