中科院计算所、浙大等提出首个全自动3D模型变形传播法，无需配对训练数据

新智元专栏

作者：乔怿凌，中国科学院大学

编辑：木青，文强

【新智元导读】在近期举行的SIGGRAPH ASIA 2018大会上，中英科学家提出了首个全自动3D模型变形传播方法，不需要配对训练数据，也无需任何手工调整，自动将物体A的形变传播到物体B上，效果自然，解决了真实应用场景中配对模型数据少的老大难。

还记得黄教主的那段炫酷舞蹈吗，和迈克尔·杰克逊一样舞出太空步！

当然，教主没有真的在跳舞，只是录了一段普通的视频。有算法将迈克尔·杰克逊源视频中的“舞姿”识别出来，再将相关的肢体动作投射到教主身上，这样，就得到了右边的魔性视频。

这样的算法属于模型变形传播方法。传统上讲，要实现这样的转换，需要在源-目标模型对的模型上手工标注关键对应点，或是需要成对的模型输入用以训练转换算法。

然而，手工标注费时费力，而且在真实应用场景中，也难以能找到成对匹配的两种模型库。

为了解决这个问题，中科院计算所、卡迪夫大学和浙江大学的研究人员合作，提出了一种全新的3D模型变形传播方法，可以全自动地将一个人体的3D模型运动序列传播到另一个机器人的运动序列上（如下图一所示），这中间不需要任何的手工交互。图二展示了一个手的运动自动驱动牛仔裤运动的效果。

图一：运动人体到机器人模型的自动变形传播与模型合成

图二：通过手势运动自动驱动牛仔裤运动

研究人员在日前于日本东京举行的计算机图形学顶会SIGGRAPH ASIA 2018展示了他们的研究成果。本届SIGGRAPH ASIA 2018有超过一万人参会，包括学者、工程师、艺术家和学生等。相关研究论文“Automatic Unpaired Shape Deformation Transfer”，被期刊ACM Transactions on Graphics（中科院JCR分区Q1区）收录。

研究人员表示，“这项工作提出了第一个全自动的、不需要成对模型训练的模型自动变形传播算法。”

现实世界中广泛存在的“模仿”行为，在某种意义上就是变形传播。例如，人想模仿丹顶鹤走路的样子，人会先观察自身和丹顶鹤的各种动作，推断两种生物做动作的特点，思考人和鹤之间相似之处，最后推断出人如何能做出最像丹顶鹤的动作。

基于这一思考，研究人员提出了一种新的深度学习模型VAE-Cycle GAN（简称VC-GAN）来完成自动变形传播任务。相对于图像，三维网格模型是更不规则的数据结构，该方法通过一种可以表示大尺度三维模型变形的ACAP特征对三维模型进行特征提取，之后在此特征上用VAE降维，用以更紧凑地表示三维模型。

图三：VAE-Cycle GAN (VC-GAN)的网络结构图示

VC-GAN的网络模型则如上图三所示：它首先对输入的3D模型计算了适用于处理大幅度变形的ACAP 变形特征表示；然后，通过一个作用于3D网格结构上的变分自编码器（VAE）网络，将源模型和目标模型的特征表示分布映射到低维隐含层空间上，再使用Cycle-GAN来学习出两个模型隐含层之间的对应映射；最后，作者引入了光场距离（lightfield distance）来确保生成的目标模型和源模型尽可能相似，由于光场距离的计算并不可导，他们还设计了一个网络simNet来回归该光场距离。

与具有规则定义域的2D图像不同，3D模型缺乏规则的定义域，同时源模型和目标模型之间缺乏对应关系，这使得基于GAN的网络难以直接应用，而基于体素的3D-GAN又难以生成具有高精细度的三维模型，VC-GAN的引入解决了这些问题。

基于三维网格数据的VAE网络将三维模型的变形规律映射到一个规则的隐空间，并通过上述VC-GAN来建立隐空间上的映射关系，进而可以进行全自动变形传播，同时基于ACAP特征的VAE的引入，也使得生成的三维模型具有更好的细节和更加真实的效果。