视频 | AI实时生成材质,效果直逼好莱坞大片

我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。

AI科技评论按:这里是,雷锋字幕组编译的Two minutes paper专栏,每周带大家用碎片时间阅览前沿技术,了解AI领域的最新研究成果。

原标题 :Gaussian Material Synthesis (SIGGRAPH 2018)

翻译 | 程炜 整理 | 凡江

视频内容

如果你要使用 Principled Shader 通过手动方式创建不同材质上逼真的光影效果,使用者必须对大量的材质参数进行手动微调,并且在每次设置后等待图片渲染才能完成整个过程。这需要你掌握一定的专业技能,并且经过大量的试错过程才能达到最好的效果。

为了优化这个流程,我们开发了基于学习的系统,它可以大批量地进行材质合成。

(1)首先,用户看到的是一个材质图库,左上角显示分数。这里我们学习了玻璃和透明材质的概念,通过学习几十个高分数的样本,我们的系统可以从学习到的分类中推荐更多新的材质,学习过程通常需要几秒钟,而大批量地进行推荐所需要的时间可以忽略不计。然后可以使用这些推荐将材质填充到场景中,通常每个推荐花费 40-60 秒来渲染全局照明。在真实世界的工作流程中,即使是对中等大小的图库来说,这个速度也是不能接受的。

(2)下一步,我们提出了一个卷积神经网络,它可以预测出这些材质的图像,使之与全局照明方法产生的图片相近,而且每幅图像只需要 3 毫秒,有时推荐的材质接近使用者的期望,但仍需要进行微调。

(3)最后,我们在直观二维隐空间中嵌入高维着色器描述符,使我们即使没有专门知识也可以对色彩进行探索和调整,但是如果没有更多的信息,它并不是非常有用。因为使用者并不知道哪个区域提供了有用的与它们分数符合的材质模型,我们重点关注隐空间技术,它可以结合高斯过程回归,提供一种期望偏好的直观色彩编码,帮助我们将关注区域高亮显示。

而且,我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。除了偏好图,这个神经网络提供了一种可能,可以将我们希望进行微调的这些新材质的期望相似度可视化,结合偏好和相似图,我们得到一个色彩编码,它会引导用户在隐空间中将材质调整为相似并且期望分数高。

我们已经进行了一个扩展的实验,加入更多表达形式的着色器,包括过程纹理反照率和替换,使用学习到的材质,推荐,以及嵌入的隐空间,填充接下来的场景,我们提出了一个可以大批量地进行材质合成系统,通过对用户偏好的学习,它可以从适量的样本中进行大量新材质模型的快速推荐。

除了这个流程,我们还结合了三种强大的学习算法,从而为实时的逼真材质可视化,颜色探索,以及二维隐空间微调提供了可能,我们相信这个特征设置为大批量材质合成提供了有用的解决方案,无论是对于新手还是专家来说,都希望未来将多种先进算法,结合到更多的探索工作当中。

视频原址:https://www.youtube.com/watch?v=6FzVhIV_t3s

论文原址:https://arxiv.org/pdf/1804.08369.pdf

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-06-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏算法channel

一文梳理NLP之机器翻译和自动摘要的发展现状

2 NLP入门:CNN,RNN应用文本分类,个性化搜索,苹果和乔布斯关系抽取(2)

86520
来自专栏新智元

DeepMind最新ICML论文:价值分布方法超越所有传统强化学习

【新智元导读】DeepMind 在他们的 ICML 2017 论文 A Distributional Perspective on Reinforcement ...

44690
来自专栏CreateAMind

用DNN构建推荐系统-Deep Neural Networks for YouTube Recommendations论文精读

虽然国内必须翻墙才能登录YouTube,但想必大家都知道这个网站。基本上算是世界范围内视频领域的最大的网站了,坐拥10亿量级的用户,网站内的视频推荐自然是一个非...

45030
来自专栏AI研习社

为什么你需要改进训练数据,如何改进?

Andrej Karpathy 在他的 Train AI 演讲中展示了这张胶片,我非常喜欢。这张胶片完美地揭示了深度学习在研究与生产间的区别。通常来说,学术论文...

10410
来自专栏AI星球

从机器学习谈起

机器学习[Machine Learning]在当今社会的火热程度有目共睹,自己也一直想写一下自己对Machine Learning(简称ML)的认识,今天偶然看...

15230
来自专栏机器之心

学界 | 谷歌大脑实现更宽广的智能体视野,在Atari2600上可持续超越人类玩家!

近年来,深度强化学习(RL)领域取得了重大进展,催生了能够在各种各样的任务中达到与人类控制能力水平相当的人工智能体,这些任务其中就包括雅达利(Atari)260...

9120
来自专栏机器学习AI算法工程

你还在用“人工特征工程+线性模型”?

作者:李沐M 11年的时候我加入百度,在凤巢使用机器学习来做广告点击预测。当时非常惊讶于过去两年内训练数据如此疯狂的增长。大家都在热情的谈特征,每次新特征的...

40480
来自专栏ATYUN订阅号

DeepMind研究:测试神经网络的抽象推理

机器能学会抽象推理吗?这是谷歌子公司DeepMind发表的一篇新论文的主题,题为“Measuring abstract reasoning in neural ...

15440
来自专栏ATYUN订阅号

新的AI风格迁移算法可以创建数百万种艺术组合

当前的风格迁移模型很大并且需要大量的计算资源来实现预期结果。为加速工作并使风格转换成为更广泛采用的工具,NVIDIA和加州大学默塞德分校的研究人员开发了一种新的...

40620
来自专栏量子位

第四范式陈雨强:万字深析工业界机器学习最新黑科技

转载自 第四范式公众号 近日,全球最顶级大数据会议Strata Data Conference在京召开。Strata大会被《福布斯》杂志誉为“大数据运动的里程碑...

41690

扫码关注云+社区

领取腾讯云代金券