【动作转移】开源 | 从视频到动画的未配对动作风格迁移

论文地址： https://arxiv.org/abs/2005.05751

代码： 公众号回复：09040451775

来源： 北京电影学院，特拉维夫大学，北京大学

论文名称：Unpaired Motion Style Transfer from Video to Animation

原文作者：KFIR ABERMAN

内容提要

在保持动画内容不变的同时，将动画风格从一个动画片段转移到另一个动画片段，一直是角色动画中一个长期存在的问题。大多数现有的数据驱动方法都受到监督，并依赖于成对的数据，其中具有相同内容的动作以不同的风格执行。此外，这些方法往往不能迁移训练中从未出现的风格。在本文中，我们提出了一种新的数据驱动的运动风格转换框架，它从带有风格标签的未配对的运动集合中学习，并实现了在训练中没有观察到的运动风格的转换。此外，我们的框架能够直接从视频中提取运动风格，绕过3D重建，并将它们应用到3D输入运动。我们的风格传输网络将运动编码为内容和风格两种潜码，每一种潜码在解码(合成)过程中起着不同的作用。内容码通过多个时间卷积层解码为输出运动，风格码通过时间不变自适应实例归一化(AdaIN)修改深度特征。此外，虽然内容代码是从3D关节旋转编码的，但我们学习了从3D或2D关节位置中嵌入样式的通用方法，从而能够从视频中提取样式。尽管不需要配对训练数据，我们的方法性能SOTA，在转移以前未见的风格时，优于其他方法。我们是第一个实现了从视频到3D动画的风格转换——这一能力使得动作风格迁移的应用范围大大扩展。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。