中科院计算所、浙大等提出首个全自动3D模型变形传播法,无需配对训练数据


新智元专栏

作者:乔怿凌,中国科学院大学

编辑:木青,文强

【新智元导读】在近期举行的SIGGRAPH ASIA 2018大会上,中英科学家提出了首个全自动3D模型变形传播方法,不需要配对训练数据,也无需任何手工调整,自动将物体A的形变传播到物体B上,效果自然,解决了真实应用场景中配对模型数据少的老大难。

还记得黄教主的那段炫酷舞蹈吗,和迈克尔·杰克逊一样舞出太空步!

当然,教主没有真的在跳舞,只是录了一段普通的视频。有算法将迈克尔·杰克逊源视频中的“舞姿”识别出来,再将相关的肢体动作投射到教主身上,这样,就得到了右边的魔性视频。

这样的算法属于模型变形传播方法。传统上讲,要实现这样的转换,需要在源-目标模型对的模型上手工标注关键对应点,或是需要成对的模型输入用以训练转换算法。

然而,手工标注费时费力,而且在真实应用场景中,也难以能找到成对匹配的两种模型库。

为了解决这个问题,中科院计算所、卡迪夫大学和浙江大学的研究人员合作,提出了一种全新的3D模型变形传播方法,可以全自动地将一个人体的3D模型运动序列传播到另一个机器人的运动序列上(如下图一所示),这中间不需要任何的手工交互。图二展示了一个手的运动自动驱动牛仔裤运动的效果。

图一:运动人体到机器人模型的自动变形传播与模型合成

图二:通过手势运动自动驱动牛仔裤运动

研究人员在日前于日本东京举行的计算机图形学顶会SIGGRAPH ASIA 2018展示了他们的研究成果。本届SIGGRAPH ASIA 2018有超过一万人参会,包括学者、工程师、艺术家和学生等。相关研究论文“Automatic Unpaired Shape Deformation Transfer”,被期刊ACM Transactions on Graphics(中科院JCR分区Q1区)收录。

研究人员表示,“这项工作提出了第一个全自动的、不需要成对模型训练的模型自动变形传播算法。”

现实世界中广泛存在的“模仿”行为,在某种意义上就是变形传播。例如,人想模仿丹顶鹤走路的样子,人会先观察自身和丹顶鹤的各种动作,推断两种生物做动作的特点,思考人和鹤之间相似之处,最后推断出人如何能做出最像丹顶鹤的动作。

基于这一思考,研究人员提出了一种新的深度学习模型VAE-Cycle GAN(简称VC-GAN)来完成自动变形传播任务。相对于图像,三维网格模型是更不规则的数据结构,该方法通过一种可以表示大尺度三维模型变形的ACAP特征对三维模型进行特征提取,之后在此特征上用VAE降维,用以更紧凑地表示三维模型。

图三:VAE-Cycle GAN (VC-GAN)的网络结构图示

VC-GAN的网络模型则如上图三所示:它首先对输入的3D模型计算了适用于处理大幅度变形的ACAP 变形特征表示;然后,通过一个作用于3D网格结构上的变分自编码器(VAE)网络,将源模型和目标模型的特征表示分布映射到低维隐含层空间上,再使用Cycle-GAN来学习出两个模型隐含层之间的对应映射;最后,作者引入了光场距离(lightfield distance)来确保生成的目标模型和源模型尽可能相似,由于光场距离的计算并不可导,他们还设计了一个网络simNet来回归该光场距离。

与具有规则定义域的2D图像不同,3D模型缺乏规则的定义域,同时源模型和目标模型之间缺乏对应关系,这使得基于GAN的网络难以直接应用,而基于体素的3D-GAN又难以生成具有高精细度的三维模型,VC-GAN的引入解决了这些问题。

基于三维网格数据的VAE网络将三维模型的变形规律映射到一个规则的隐空间,并通过上述VC-GAN来建立隐空间上的映射关系,进而可以进行全自动变形传播,同时基于ACAP特征的VAE的引入,也使得生成的三维模型具有更好的细节和更加真实的效果。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-12-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券