深大推出新算法:GAN 非平稳纹理合成

由计算机图形学和AI相结合的领域称为纹理合成,周期性纹理合成比较简单,但是具有结构的纹理合成相当复杂,这篇论文的卖点在于,可以高效地同时把图像的内容和对称信息考虑进来。

AI科技评论按:这里是,雷锋字幕组编译的Two minutes paper专栏,每周带大家用碎片时间阅览前沿技术,了解AI领域的最新研究成果。

原标题: AI-Based Large-Scale Texture Synthesis - Two Minute Papers #252

翻译 | 吴晓曼 整理 | 凡江

当一个艺术工作者在数字媒体创作中,比如要给一个电影或者游戏创造一个虚拟世界,或者在做平面设计时,他们经常会需要大量的纹理。例如,混凝土墙,树叶,布料都是我们现实世界中熟知的材料。

有时候获取纹理的过程很简单,只需购买一个纹理包然后使用即可。但是经常会遇到的问题是——当我们想要使用混凝土的纹路铺满整条路时,却只有整条路纹路中的一小部分,这种情况下,最简单快捷的方法就是不断将这小块纹路复制粘贴,这样生成的纹路重复性高并且有明显接缝。

那么基于 AI 的技术,怎么使用小块纹路生成自然而且看不出拼接的大面积纹路呢?

这一由计算机图形学和AI相结合的领域称为纹理合成,周期性纹理合成比较简单,但是具有结构的纹理合成相当复杂,这篇论文的卖点在于,可以高效地同时把图像的内容和对称信息考虑进来。例如,它在合成木头的纹理的时候,知道要将纹理的同心性考虑进来,也可以适应水纹的规律性然后生成一个漂亮的高分辨率的结果。

这是基于神经网路的技术,所以首要问题是——训练数据应该是什么样的?

我们取一个高分辨率图像的数据集,切取其中一小部分,并假设我们不能获取完整图像,然后使用神经网络来对这切下来的小块图像进行扩展,这听起来有点傻,那么这样取一小部分进行扩展有什么用呢?这很有用,因为这样使用神经网络后得到的结果,就可以和原始图像进行对比,然后改进神经网络。注意这个方法是生成对抗网络,就是有两种神经网络互相对抗,生成网络是扩展小块纹理的生成器,鉴别器网络负责检查和判别纹理的真实性。时间越长,生成网络在纹理生成上学得越好,鉴别器网络也变得更善于区分生成纹理和真实纹理,这两种网络的对抗就生成了相当高质量的纹理,对比你会发现,使用这种新技术得到的结果相当好。

视频原址:https://www.youtube.com/watch?v=KL6U6iasUxs

论文原址:http://vcc.szu.edu.cn/research/2018/TexSyn

Github:https://github.com/jessemelpolio/non-stationary_texture_syn

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20180618A18AX800?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券