超酷的神经网络合成动物运动动画,解救动画师!(代码开源+视频)


新智元报道

来源:GitHub

编辑:肖琴

【新智元导读】针对四足动物的动画生成问题,爱丁堡大学的研究人员开发了一个被称为“模式自适应神经网络”的新神经网络架构,它可以从实际的运动数据学习,生成非常自然的动画。团队在今天开源了所有代码、数据和编译的demo。

开源地址:

https://github.com/sebastianstarke/AI4Animation

创作四足动物动画是计算机动画行业一个特别困难的问题。四足动物动画在电脑游戏和电影中的应用很重要,同时也是机器人领域的一个具有挑战性的话题。传统方法制作四足动物动画时,动画师必须经过特殊培训,设计出各种复杂的动作,然后利用各种DCC软件进行动作捕捉。

针对四足动物的动画生成问题,来自爱丁堡大学HE ZHANG、SEBASTIAN STARKE、TAKU KOMURA和Adobe Research的JUN SAITO等人的团队开发了一个被称为“模式自适应神经网络”的新神经网络架构,它可以从实际的运动数据学习,生成自然的动画。系统不需要对相位或运动步态进行标记,而是从非结构化的运动捕获数据,以端到端的方式学习

整个研究使用 Unity3D / Tensorflow 完成,并且团队在今天开源了所有代码、数据和编译的demo。

视频介绍:

视频内容

模式自适应神经网络

四足动物运动的多模态造成了动画制作的复杂性。四足动物有多种移动模式,例如步行、踱步、快走、慢跑、疾跑等,运动时其躯干和四肢的相位变化非常复杂。

图:不同的四足运动模式。横条表示每条腿的站立相位。右侧的图像表示步态周期中脚接触的顺序。

目前还没有以数据驱动的方式系统地构建四足动物运动控制器的工作。除了上面提到的运动复杂性外,困难还来源于四足动物与人类不同,无法进行受控的数据采集。因此,捕获的数据往往不是结构化的。使用这些数据设计角色控制器时,工程师需要手动/半自动地提取步态周期和转换,再将它们拼接在一起,调整motion trees和有限状态机的参数。因此,传统的方法要么效率低,要么不精确。

上图展示了基于动作捕捉实现的动画制作,但捕捉的动画是非结构化的,而且随机动作太过广泛。捕捉的数据不是很精准,动作存在很多噪波,细节的地方还需要后期修正。

上图是通过标准神经网络生成的动画,但会产生失真和明显的滑步。

上图的动画由相位函数神经网络(Phase-Functioned Neural Networks)的方式生成,优点是动作精准,但是当两个动作进行融合时动作显得僵硬,而且操控不是那么灵敏。

这个新研究提出了一种新的网络架构——模式自适应神经网络(Mode-Adaptive Neural Networks ,MANN),它可以从大量的非结构化四足动物运动捕获数据中学习运动控制器。

MANN架构图示,由门控网络和运动预测网络组成。

这个系统由运动预测网络门控网络组成。在每一帧处,运动预测网络在给定的前一帧的状态和用户提供控制信号的情况下计算当前帧的角色状态。门控网络通过选择和混合所谓的专家权重(expert weights),动态地更新运动预测网络的权重,每个expert weight都专门针对特定的运动。

MANN与以前方法的对比

这种架构提供了灵活性,使得系统能够在广泛的非周期动作和周期性的无标记步态类型中学习一致的特征。这个框架可以将开发人员从冗长而困难的相位标记工作中解放出来。特别是,我们的模型不需要单独的标签来区分不同的步态,这种区分即使对人类来说也很难,因此,可以在数据预处理过程避免步态错误。

该研究的贡献可概括如下:

  • 提出第一个构建数据驱动的四足角色控制器的系统方法,它可以合成具有各种运动模式和动作转换的高质量动画。
  • 提出一种新颖的端到端神经网络架构,可以从非结构化的四足动物运动捕捉数据中学习,而无需提供相位和运动步态标签。
  • 通过与现有方法进行比较,对所提出的架构进行了全面评估。

数据准备和结果

研究人员使用狗的动作捕捉(Dog Motion Capture)作为训练数据。这些数据包含各种运动模式,例如步行、踱步、小跑、跑步等,以及其他类型的动作,例如坐、站、闲散,躺着和跳跃。通过镜像将数据规模加倍。

实验中使用的狗模型的骨架结构。由27块骨头组成,总共有81个自由度。

表1:狗运动数据集和运动类型

四足动物在不平坦地形上行走

沿预定的地面轨迹的行走。可以观察到,即使在突然转弯的情况下,它也能很好地沿着曲线运动。

值得一提的是,这个研究延续自去年该团队所做的“用于角色控制的 Phase-Functioned 神经网络”(PFNN)工作,当时在SIGGRAPH 2017大会演示,同样令人印象深刻。

参考新智元报道:【超酷视频】神经网络生成游戏角色动作,自然逼真不重复

GitHub地址:

https://github.com/sebastianstarke/AI4Animation


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-06-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏EAWorld

人体运动轨迹的人工智能动画模拟

作为博客文章的处女秀,我将简要介绍一下我的研究领域。从现在起,我将之命名为“人体运动轨迹的人工智能动画模拟”(Physically-Based Animatio...

1734
来自专栏大数据文摘

利用Python进行深度学习的完整入门指南(附资源)

1846
来自专栏数据科学与人工智能

机器学习最佳入门学习资料汇总

专为机器学习初学者推荐的优质学习资源,帮助初学者快速入门。 这篇文章的确很难写,因为我希望它真正地对初学者有帮助。面前放着一张空白的纸,我坐下来问自己一个难题:...

2325
来自专栏IT派

40行Python代码实现“旅行者困境“演化过程

在纳米比亚的 PyCon 会议上,我发表了一篇名为 《使用 Python 解决“升级版的剪刀石头布”》(Rock, Paper, Scissors, Lizar...

1311
来自专栏新智元

【超酷视频】神经网络生成游戏角色动作,自然逼真不重复

【新智元导读】爱丁堡大学的研究者提出利用神经网络处理角色的动作动画的全新方法,相比传统方法角色的动作更加逼真、自然。也许我们终于可以告别游戏中无休止的同样动作了...

66211
来自专栏PPV课数据科学社区

【学习】 TensorFlow:最棒的深度学习加速器

TensorFlow没有改变世界。但是,它显然是最棒的,也是现有最便利的深度学习库。本文作者Zachary Chase Lipton是来自加利福尼亚大学计算机科...

2805
来自专栏IT派

用Python对用户评论典型意见进行数据挖掘

用户体验的工作可以说是用户需求和用户认知的分析。而消费者的声音是其中很重要的一环,它包含了用户对产品的评论,不管是好的坏的,都将对我们产品的改进和迭代有帮助。另...

1203
来自专栏Python中文社区

用Python对用户评论典型意见进行数据挖掘

用户体验的工作可以说是用户需求和用户认知的分析。而消费者的声音是其中很重要的一环,它包含了用户对产品的评论,不管是好的坏的,都将对我们产品的改进和迭代有帮助。...

3847
来自专栏PPV课数据科学社区

目前数据科学和机器学习中使用的最多的20个包

CRAN包库有6778个常用的包。哪些是你知道的?下面对此进行以下的分析,同时在文章底部另请参见原始数据链接。 这些R包都是Kagglers里的技术大牛最青睐的...

3495
来自专栏AI科技评论

视频 | 自适应神经网络模拟运动轨迹,四足动物旋转跳跃栩栩如生

AI科技评论按:这里是,雷锋字幕组编译的 SIGGRAPH 2018系列,带你了解 Computer Vision 领域的最新研究成果。

1194

扫码关注云+社区