✎ 编 者 言
随着元宇宙概念的兴起,与人体相关的研究在这两年也是非常受关注。在人体相关的研究中,衣物,由于其形状与动态高度复杂,所以一直都是研究的焦点与难点。本文聚焦于衣物的三维重建,明确了衣物重建的五大要点,从而选择了点云序列作为输入,并依此设计了衣物数据集的注册,以及衣物重建管线。本文相关论文Garment4D: Garment Reconstruction from Point Cloud Sequences已发表于NeurIPS 2021,数据集与源代码现已开源。
详细信息如下:
01 正文
在人体相关的研究与应用中,衣物一直都是绕不开的课题。衣物的重建技术对于元宇宙的一些应用,例如虚拟试衣,虚拟现实/增强现实,或是影视中的视觉特效都是极为关键的。本文作者认为,一个实用且符合工业界图形管线的衣物重建算法,需要符合下面的五个要点。
基于上述五个要点,本文选择构建参数化的衣物模型来辅助重建,以获取可分离性与可解释性。本文提出的参数化衣物模型包含三个部分:
这样蒙皮(skin)之后的衣物面片能够避免出现如下图所示的锯齿状。
iLBS
基于这样的参数化衣物模型,大量未对齐的衣物数据集需要经过注册的处理才能适用于本文的框架。如下图所示,每一种衣物都被对齐到对应的模板模型上,再经过三角重心差值算法(barycentric interpolation)来重新网格化(re-mesh)。最终进行PCA降维,得到注册后的衣物数据集。
pipeline
如上图所示,本文提出的衣物重建管线与参数化衣物模型相对应,分为两个部分,第一个部分为T Pose下的衣物重建(Canonical Garment Reconstruction),第二部分为不同姿势下的衣物重建(Posed Garment Reconstruction)。对于第一个部分,本文首先对输入的点云进行语义分割,得到需要重建衣物的点云后直接回归PCA参数,得到T Pose下的衣物。
第二部分,首先对于第一步得到的衣物进行差值线性混合蒙皮得到一个最终重建衣物的初始化,接着通过图卷积网络预测每个顶点的偏移量。最终通过transformer综合时序信息来优化动态重建效果。
02 实验结果
本文在大型衣物生成数据集CLOTH3D,以及真实数据集CAPE上进行实验,结果如下所示。Garment4D在所有衣物种类,数据集,指标上都超过了基线方法。
results
为了让大家更直观地理解Garment4D的重建管线,下面给出了重建中每个步骤的可视化
vis
03 总结
本文提出了一个全新的基于点云序列的衣物重建方案,达成了无歧义,可分离,可解释,可重建宽松衣物,可捕捉衣物动态的五个目标。并且通过实验证明了其对于基线方法的优势,以及在真实数据上的有效性与鲁棒性。本文代码与注册后的数据集均已开源,欢迎大家前去试用~