优Tech分享｜优图3D人脸重建技术的研究与应用

10月19日，腾讯优图实验室高级研究员玮剑在优tech线上沙龙，围绕《3D人脸重建技术的研究与应用实例》这一主题进行了直播分享，讲述了优图自建3D人脸基底及3D人脸技术应用实例。

01

3D人脸重建技术应用广泛，优图推出可移动端实时的3DMM人脸重建技术

3D人脸重建技术是指从一张或多张2D图像中恢复出人脸的3D形状和纹理。3D人脸重建技术不仅广泛应用于泛娱乐、AR、VR、影视制作等领域，而且在各种人脸相关的研究业务中均有着非常重要的作用。

3D人脸重建如此重要，如何更好地重建？目前常见的方法包括合成分析法、基于3DMM的方法以及深度网络端到端的方法。优图对传统3DMM方法进行了改进优化，推出可移动端实时的3DMM人脸重建技术。

3DMM的全称是3D Morphable Model，即可形变的模型，它可以将任意的3D人脸模型表示为一个平均脸和形状、表情维度的线性组合。基于3DMM方法的整体流水线如下：当我们拿到一张输入图片后，首先做人脸检测配准，得到人脸的2D关键点坐标，以这些坐标点为约束，求出3DMM所需的姿态投影、形状以及表情参数，最终输出3D重建的结果。

为了提升重建的效果并且保证移动端可实时运行，优图对传统的3DMM方法进行了改进优化，引入更多精准、快速的约束，提升重建的精度；深入挖掘视频流中前后帧的信息，让帧间更加稳定的同时，也对形状参数极致的优化；加入表情非负约束，使得重建出的表情以及Avatar驱动效果更加真实自然。在工程上也做了大量的向量化运算及并行计算，以减少求解时的耗时。

02

已有基底存在不足，优图自建3D人脸基底

3D人脸基底是基于3DMM算法的技术根基，而现有的3D人脸基底在人脸形状表情的表达能力、人种分布以及三维网格拓扑等方面存在诸多不足。基于此，优图自己采集构建了一个主要针对中国人的3DMM人脸基底，不仅具有更强更细腻的表达能力，并且拓扑更加科学。

在采集阶段，优图采用3D结构光采集设备，可以重建出毫米级别的人脸3D形状和纹理。采集时，每个被采集者共采集30种特定的表情。

编辑制作拓扑一致的3D人脸基底，需要经过3D关键点标注、非刚性配准、表情扩增等步骤。为了更快速高效的完成，减少人工参与，优图开发了自动化工具，使得每个步骤都可以由计算机完成。最终，我们参考FACS系统，并结合实际业务需求，自建了包含43种表情的3D人脸基底。

03

3D人脸技术在泛娱乐场景的丰富应用

基于3DMM的重建算法中每一个待求参数（姿态投影、形状、表情）都有其在实际场景的物理含义。因此从这些参数的物理含义出发，将这些参数自由组合或者交叉应用，可以实现丰富的泛娱乐应用。

例如，有了头部的3D姿态之后，便可以添加3D帽子等挂件，与2D挂件相比，3D的方法真实感更强，甚至无法分辨是真实的还是虚拟的。对于表情参数，可以将视频中人物的面部表情迁移到Avatar中，实现虚拟人物的驱动。

对于与人脸身份相关的形状参数，可以应用到动画、游戏等人脸模板中，生成与输入人脸身份相似的动画人脸。也可以对不同人脸的重建参数相互融合，将人物A的表情迁移到人物B上，从而达到“活照片”的效果。

目前，优图基于3DMM的人脸重建技术已经应用于微视、手Q、天天P图等多个产品中，为用户提供更加丰富有趣的泛娱乐3D特效体验。

未来，优图将通过丰富基底的年龄组合并增加纹理维度持续优化自建3D人脸基底。探索更有趣的泛娱乐玩法应用落地，如Relighting、3D风格化、动漫化等。此外，我们也在积累探索前沿技术，聚焦于高清Multiview的重建，半监督弱监督的网络训练，以及将3D和GAN进行技术结合。