超酷的神经网络合成动物运动动画,解救动画师!(代码开源+视频)


新智元报道

来源:GitHub

编辑:肖琴

【新智元导读】针对四足动物的动画生成问题,爱丁堡大学的研究人员开发了一个被称为“模式自适应神经网络”的新神经网络架构,它可以从实际的运动数据学习,生成非常自然的动画。团队在今天开源了所有代码、数据和编译的demo。

开源地址:

https://github.com/sebastianstarke/AI4Animation

创作四足动物动画是计算机动画行业一个特别困难的问题。四足动物动画在电脑游戏和电影中的应用很重要,同时也是机器人领域的一个具有挑战性的话题。传统方法制作四足动物动画时,动画师必须经过特殊培训,设计出各种复杂的动作,然后利用各种DCC软件进行动作捕捉。

针对四足动物的动画生成问题,来自爱丁堡大学HE ZHANG、SEBASTIAN STARKE、TAKU KOMURA和Adobe Research的JUN SAITO等人的团队开发了一个被称为“模式自适应神经网络”的新神经网络架构,它可以从实际的运动数据学习,生成自然的动画。系统不需要对相位或运动步态进行标记,而是从非结构化的运动捕获数据,以端到端的方式学习

整个研究使用 Unity3D / Tensorflow 完成,并且团队在今天开源了所有代码、数据和编译的demo。

视频介绍:

视频内容

模式自适应神经网络

四足动物运动的多模态造成了动画制作的复杂性。四足动物有多种移动模式,例如步行、踱步、快走、慢跑、疾跑等,运动时其躯干和四肢的相位变化非常复杂。

图:不同的四足运动模式。横条表示每条腿的站立相位。右侧的图像表示步态周期中脚接触的顺序。

目前还没有以数据驱动的方式系统地构建四足动物运动控制器的工作。除了上面提到的运动复杂性外,困难还来源于四足动物与人类不同,无法进行受控的数据采集。因此,捕获的数据往往不是结构化的。使用这些数据设计角色控制器时,工程师需要手动/半自动地提取步态周期和转换,再将它们拼接在一起,调整motion trees和有限状态机的参数。因此,传统的方法要么效率低,要么不精确。

上图展示了基于动作捕捉实现的动画制作,但捕捉的动画是非结构化的,而且随机动作太过广泛。捕捉的数据不是很精准,动作存在很多噪波,细节的地方还需要后期修正。

上图是通过标准神经网络生成的动画,但会产生失真和明显的滑步。

上图的动画由相位函数神经网络(Phase-Functioned Neural Networks)的方式生成,优点是动作精准,但是当两个动作进行融合时动作显得僵硬,而且操控不是那么灵敏。

这个新研究提出了一种新的网络架构——模式自适应神经网络(Mode-Adaptive Neural Networks ,MANN),它可以从大量的非结构化四足动物运动捕获数据中学习运动控制器。

MANN架构图示,由门控网络和运动预测网络组成。

这个系统由运动预测网络门控网络组成。在每一帧处,运动预测网络在给定的前一帧的状态和用户提供控制信号的情况下计算当前帧的角色状态。门控网络通过选择和混合所谓的专家权重(expert weights),动态地更新运动预测网络的权重,每个expert weight都专门针对特定的运动。

MANN与以前方法的对比

这种架构提供了灵活性,使得系统能够在广泛的非周期动作和周期性的无标记步态类型中学习一致的特征。这个框架可以将开发人员从冗长而困难的相位标记工作中解放出来。特别是,我们的模型不需要单独的标签来区分不同的步态,这种区分即使对人类来说也很难,因此,可以在数据预处理过程避免步态错误。

该研究的贡献可概括如下:

  • 提出第一个构建数据驱动的四足角色控制器的系统方法,它可以合成具有各种运动模式和动作转换的高质量动画。
  • 提出一种新颖的端到端神经网络架构,可以从非结构化的四足动物运动捕捉数据中学习,而无需提供相位和运动步态标签。
  • 通过与现有方法进行比较,对所提出的架构进行了全面评估。

数据准备和结果

研究人员使用狗的动作捕捉(Dog Motion Capture)作为训练数据。这些数据包含各种运动模式,例如步行、踱步、小跑、跑步等,以及其他类型的动作,例如坐、站、闲散,躺着和跳跃。通过镜像将数据规模加倍。

实验中使用的狗模型的骨架结构。由27块骨头组成,总共有81个自由度。

表1:狗运动数据集和运动类型

四足动物在不平坦地形上行走

沿预定的地面轨迹的行走。可以观察到,即使在突然转弯的情况下,它也能很好地沿着曲线运动。

值得一提的是,这个研究延续自去年该团队所做的“用于角色控制的 Phase-Functioned 神经网络”(PFNN)工作,当时在SIGGRAPH 2017大会演示,同样令人印象深刻。

参考新智元报道:【超酷视频】神经网络生成游戏角色动作,自然逼真不重复

GitHub地址:

https://github.com/sebastianstarke/AI4Animation


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-06-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

谷歌大脑工程师给2018学术顶会划重点:对抗性学习+强化学习

1273
来自专栏人工智能

2 分钟论文:语音生成表情包背后的技术原理

AI 科技评论出品系列短视频《 2 分钟论文 》,带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。 来源 /Two Minute Papers 翻...

2095
来自专栏吉浦迅科技

(图解)人工智能的黄金年代:机器学习

Lady我在整理一些关于Deep learning方面的学习资料,看到好文章总是忍不住想跟各位分享。这次将系统地介绍深度学习的前世今生,文章很有趣,但也很长,将...

37315
来自专栏机器之心

业界 | Ian Goodfellow专访:我为什么可以在一夜之间创建GAN

Ian Goodfellow:不客气!非常感谢您来采访我,也感谢您撰写采访博客为其他学生提供帮助。

722
来自专栏机器之心

独家|专访深度好奇创始人吕正东:通向理解之路

机器之心原创 作者:虞喵喵 「理解应该是对应于某一个特定场景下的语用」。 在斯坦福大学计算机科学与语言学教授 Christopher Manning 2015 ...

2724
来自专栏企鹅号快讯

麻省理工学院通过新型人工智能系统用电脑可以合成新材料

即使在缺少试验数据的情况下,设备学习系统也可以在材料“配方”中找到相应的模式。 上个月,麻省理工学院的三位材料科学家及其同事发表了一篇论文,讲述了一种新型人工智...

20110
来自专栏新智元

【ICCV 13大不可错过的有趣项目】实时任意风格迁移、手机照片背景模糊……

来源:techcrunch 作者:Devin Coldewey 编译:马文 【新智元导读】计算机视觉领域顶会之一的 ICCV 结束不久,图像质量提升、从头创建...

3437
来自专栏企鹅号快讯

深度学习即将非法?欧盟《一般数据保护条例》五月生效

选自Analytics India 作者:Richa Bhatia 机器之心编译 《欧盟一般数据保护条例》(General Data Protection Re...

1828
来自专栏新智元

【黑科技】新一代脑机接口技术基石:通过大脑扫描数据重建图像

【新智元导读】 中国科学院自动化研究所的研究团队提出了一种令人既兴奋又恐慌的大脑黑科技——读脑术算法。“新提出的技术有效克服了这个领域的一系列难点,能够更加精...

3516
来自专栏顶级程序员

骑兵变步兵,谷歌大脑最新技术:将马赛克还原成清晰图像

点击上方蓝色字体关注「顶级程序员」 授权转载自雷锋网 ? 在观看岛国教育片的时候,往往在不可描述的部位打上了马赛克,固然呈现了朦胧美,但部分观众依然希望变得更加...

3404

扫码关注云+社区