新的AI风格迁移算法可以创建数百万种艺术组合

编译：chux

出品：ATYUN订阅号

当前的风格迁移模型很大并且需要大量的计算资源来实现预期结果。为加速工作并使风格转换成为更广泛采用的工具，NVIDIA和加州大学默塞德分校的研究人员开发了一种新的基于深度学习的风格迁移算法，该算法既有效又高效。

该研究由来自NVIDIA的Sifei Liu和Xueting Li领导，分析了任意样式传输算法及其扩展。他们得出结论，尽管当前算法表现良好，但它们无法探索变换矩阵的整个解决方案，并且泛化到更多应用程序的能力有限，例如照片拟真和视频样式化。

为了证明该算法的有效性，研究人员在四种风格迁移任务上测试了他们的方法：艺术风格迁移，视频和照片写实风格迁移以及局部自适应学习。

研究人员在他们的论文中指出：“我们的算法计算效率高，灵活多样，对图像和视频的风格化也很有效。人们通常只会将风格迁移用于艺术目的，但现在人们可以使用这种模式来实现真实感。”

研究人员使用NVIDIA TITAN Xp GPU和cuDNN加速PyTorch深度学习框架，用80000个人物，风景，动物和移动物体的图像训练了卷积神经网络。图像来自WikiArt和MS-COCO数据集。

“我们的算法效率很高，但允许灵活组合多级风格，同时在风格转换过程中保持内容关联性，”研究人员说。

这项工作的关键是实现使用线性样式传输的算法。这允许两个轻量级卷积神经网络替换任何对GPU不友好的计算，例如SVD分解，并转换图像。因此，用户可以实时应用不同级别的样式更改。

Liu解释道，“我们的解决方案还允许人们实时更改视频。你可以使用多种模式找到最适合的风格。”

团队表示，“实验结果证明，该算法在图像和视频的样式转换方面比许多目前最优的方法表现出色。”

Liu认为，“这会鼓励内容制作人创造更多，也许不擅长绘画的人会使用风格迁移创作艺术，我希望实时任意样式转换在现实应用中变得更加突出。想象一下：你能把它放在VR中，并实时渲染它。”