SIGGRAPH 2024 | 头像化身动画的 3D 高斯 Blendshapes

来源：SIGGRAPH 2024论文题目：3D Gaussian Blendshapes for Head Avatar Animation 论文链接：https://arxiv.org/abs/2404.19398 论文作者：Shengjie Ma 等人 内容整理：林宗灏 本文提出一种用于头像化身动画的 3D 高斯混合形状表示，该方法可以从单目视频中学习优化与网格混合形状语义一致的高斯混合形状，通过高斯与表情系数的线性混合生成任意表情的头像模型，进而利用高斯溅射实时合成高保真的头像动画。实验表明，该方法优于最先进的基于 NeRF 和基于点的方法，训练和内存成本适中，并能以更快的速度生成高质量的头像动画。

引言

图 1：我们的 3D 高斯混合形状类似于经典参数化人脸模型中的网格混合形状，以表情系数线性混合，实时合成逼真的人脸动画。

混合形状（Blendshape）是化身动画中经典的表示形式，因其易于控制和高效的优点，在专业动画制作和化身应用中具有显著优势。在本文中，我们为逼真的头像化身建模引入了 3D 高斯混合形状。我们以单目视频为输入，学习一个中性表情的基头像模型，以及一组表情混合形状，其中每个混合形状对应于经典参数化人脸模型中的一个基础表情。中性模型和表情混合形状均采用包含描述化身外观属性的 3D 高斯来表示。结合中性模型和表情混合形状，通过高斯与表情系数的线性混合，可以有效生成任意表情的头像模型，进而利用高斯溅射实时合成高保真的头像动画。与最先进的方法相比，我们的高斯混合形状表示法能更好地捕捉输入视频中的高频细节，并达到更高的渲染性能。

方法

3D 高斯混合形状

图 2：方法总览。我们的方法以单目视频为输入，学习头像化身的高斯混合形状表示，其中包括一个中性模型 、一组表情混合形状 以及口腔内部模型 ，均采用 3D 高斯表示。通过表情系数 进行线性混合，以及使用关节和姿态参数 进行线性混合蒙皮，可以生成任意表情和姿态的头像模型，并使用高斯溅射实时渲染高保真图像。

我们的高斯混合形状表示由一个中性基模型 和一组表情混合形状 组成，它们均表示为一组 3D 高斯，每个高斯都有一些基础属性（即位置 、不透明度 、旋转 、缩放 和球谐系数 ）。 的每一个高斯有一组混合权重用于关节和姿态控制，并与每个混合形状 之间存在一一对应的关系。 与 的差异可定义为它们的高斯性质之差，即 。任意表情的头像化身模型表示为：

其中， 为表情系数。我们使用基于 PCA 的混合形状模型 FLAME，它提供了关节和姿态参数 ，用于控制头部、下颌、眼球和眼睑的运动。这些参数通过线性混合蒙皮（LBS）变换头像化身模型：，其中使用了 的高斯的混合权重。由于口腔内部的运动通常不受面部表情的影响，我们为口腔内部定义了一组单独的高斯 ，它只随着 FLAME 中的下颌关节移动，即 。最终，变换后的高斯模型 可通过高斯溅射实时渲染生成高保真图像。

训练

数据准备

我们使用现成的人脸追踪器来计算中性表情的 FLAME 网格、 个基表情、前景头部掩膜、每帧的摄像机参数、关节参数、姿态参数以及表情系数。

初始化

对于中性模型 ，我们使用泊松圆盘采样在中性 FLAME 网格 选取若干点作为高斯位置的初始化，其他高斯属性的初始化与 3DGS 相同。对于口腔内部高斯 ，我们同样使用泊松圆盘采样，上牙高斯刚性绑定在头后部，下牙高斯则绑定在下颌关节具有最大蒙皮权重的顶点上。对于表情混合形状 ，我们对 的高斯进行从 到表情 FLAME 网格 的梯度变形。

优化

我们对 、 和 进行联合优化。对于每个视频帧，我们将 和 与追踪到的表情系数进行线性混合，重建高斯头部模型 。然后，根据追踪到的关节和姿态参数，使用 LBS 对 和 进行变换：、。最后，我们使用高斯溅射从 和 得到渲染图像。优化过程类似于 3DGS，涉及添加和删除高斯的自适应密度控制步骤。

在优化过程中，避免过拟合的关键在于保持每个高斯混合形状 与其对应的网格混合形状 的语义一致性，即 和 一致。我们提出了一种简单有效的策略，引导高斯优化隐式地遵循一致性要求。具体而言，对于每个高斯 ，令 为其在 和 中的属性差异，我们引入中间变量 使得：

其中， 为初始值， 为从 到 最接近 的曲面点位移大小， 为距离归一化线性函数，将 到 的最大位移差缩放为 。 将高斯差异与位移相关，并对应于网格混合形状中的位移，从而有效引导高斯差异随位移发生一致的变化，使得高斯混合形状的优化与网格混合形状具有强语义一致性。

损失函数

总体损失函数定义为：

其中，图像损失 最小化图像差异，alpha 损失 限制高斯位于头部区域，正则化损失 限制口腔内部高斯位于预定义的口腔范围内。

实验

定量结果

表 1：与 INSTA、PointAvatar 的定量比较。

表 2：与 NeRFBlendShape 的定量比较。

表 3：性能比较。我们在 A800 GPU 上对所有方法进行训练。对 INSTA、NeRFBlendshape 和我们的方法的测试是在 RTX 4090 GPU 上进行的，但对 PointAvatar 的测试由于 RTX 4090 GPU 内存不足而在 A800 GPU 上进行的。渲染分辨率为 512 × 512。请注意，我们的运行时间包括动画（即线性混合和 LBS 变换）和渲染，我们的性能对渲染分辨率并不敏感。

定性结果

图 3：与 INSTA、PointAvatar 的定性比较。我们的方法更好地捕捉了高频细节和镜面高光。

图 4：与 NeRFBlendShape 的定性比较。我们的方法更忠实地捕捉了面部细节（如眼睛和鼻子周围的皱纹）。

图 5：新视角合成的定性比较。我们的方法更好地生成了人脸细节。

图 6：高斯混合形状的可视化。每个高斯混合形状都与其对应的 FLAME 网格混合形状相似。

消融实验

图 7：混合形状一致性的消融实验。

图 8：混合形状优化的消融实验。

图 9：口腔内部高斯的消融实验。