新的AI风格迁移算法可以创建数百万种艺术组合

编译:chux

出品:ATYUN订阅号

当前的风格迁移模型很大并且需要大量的计算资源来实现预期结果。为加速工作并使风格转换成为更广泛采用的工具,NVIDIA和加州大学默塞德分校的研究人员开发了一种新的基于深度学习的风格迁移算法,该算法既有效又高效。

该研究由来自NVIDIA的Sifei Liu和Xueting Li领导,分析了任意样式传输算法及其扩展。他们得出结论,尽管当前算法表现良好,但它们无法探索变换矩阵的整个解决方案,并且泛化到更多应用程序的能力有限,例如照片拟真和视频样式化。

为了证明该算法的有效性,研究人员在四种风格迁移任务上测试了他们的方法:艺术风格迁移,视频和照片写实风格迁移以及局部自适应学习。

研究人员在他们的论文中指出:“我们的算法计算效率高,灵活多样,对图像和视频的风格化也很有效。人们通常只会将风格迁移用于艺术目的,但现在人们可以使用这种模式来实现真实感。”

研究人员使用NVIDIA TITAN Xp GPU和cuDNN加速PyTorch深度学习框架,用80000个人物,风景,动物和移动物体的图像训练了卷积神经网络。图像来自WikiArt和MS-COCO数据集。

“我们的算法效率很高,但允许灵活组合多级风格,同时在风格转换过程中保持内容关联性,”研究人员说。

这项工作的关键是实现使用线性样式传输的算法。这允许两个轻量级卷积神经网络替换任何对GPU不友好的计算,例如SVD分解,并转换图像。因此,用户可以实时应用不同级别的样式更改。

Liu解释道,“我们的解决方案还允许人们实时更改视频。你可以使用多种模式找到最适合的风格。”

团队表示,“实验结果证明,该算法在图像和视频的样式转换方面比许多目前最优的方法表现出色。”

Liu认为,“这会鼓励内容制作人创造更多,也许不擅长绘画的人会使用风格迁移创作艺术,我希望实时任意样式转换在现实应用中变得更加突出。想象一下:你能把它放在VR中,并实时渲染它。”

本文分享自微信公众号 - ATYUN订阅号(atyun_com)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习AI算法工程

你还在用“人工特征工程+线性模型”?

作者:李沐M 11年的时候我加入百度,在凤巢使用机器学习来做广告点击预测。当时非常惊讶于过去两年内训练数据如此疯狂的增长。大家都在热情的谈特征,每次新特征的...

40980
来自专栏人工智能头条

CVPR 2018 上10篇最酷论文,圈儿里最Cool的人都在看

18420
来自专栏机器之心

ICLR 2018 | Oral论文:zero-shot视觉模仿系统GSP,仅观察演示就学会执行任务

20790
来自专栏AI科技评论

视频 | AI实时生成材质,效果直逼好莱坞大片

我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。

15030
来自专栏数值分析与有限元编程

迭代法计算结构的自振频率

迭代法用于求矩阵的最大特征值,逆迭代法用于求矩阵的最小特征值,矩阵特征值与自振频率之间的关系为 ω= √λ / (2*π) 一般来说,一个结构有多少个质量...

28650
来自专栏腾讯云人工智能

深度学习在语音识别上的应用

我今天演讲主要分四个部分,第一个是分享语音识别概述,然后是深度神经网络的基础;接下来就是深度学习在语音识别声学模型上面的应用,最后要分享的是语音识别难点以及未来...

4.8K40
来自专栏AI科技评论

深度 | BAIR论文:通过“元学习”和“一次性学习”算法,让机器人快速掌握新技能

AI科技评论按:近日伯克利大学人工智能实验室(BAIR)Sergey Levine团队在Arxiv上发布了一篇名为《One-Shot Visual Imitat...

421100
来自专栏AI科技大本营的专栏

资源 | 机器学习十大热文新鲜出炉,这个月你该读哪篇?

翻译 | 林椿眄 编辑 | SuiSui 一直为开发者提供优质学习资源的Mybridge最近又发布了一篇资源性文章:《2018年2月机器学习10大热文精选》 ,...

35140
来自专栏新智元

重磅 | IBM TrueNorth 类脑芯片突破,SNN 杀手级应用有望诞生

【新智元导读】IBM 研究人员昨天在 PNAS 发文,报告他们训练卷积神经网络在 TrueNorth 处理器上分类图像和语音,精度接近目前最先进水平,每秒处理 ...

1.4K40
来自专栏人工智能头条

AI读心术:想象一下,计算机就可以重现意念中的画面

15730

扫码关注云+社区

领取腾讯云代金券