Meta研究人员用四张自拍照即可生成逼真虚拟化身

Meta 研究团队在虚拟化身生成技术上取得了重大突破。他们构建了一个名为“大型重建模型（LRM）”的系统，该系统仅凭四张手机自拍照，就能在极短的时间内生成一个可动且逼真的头部虚拟化身。

Meta 在虚拟化身的生成和动画技术方面已有六年的研究历史。然而，生成高质量的虚拟化身一直面临着数据量和处理时间的巨大挑战。

以往，Meta 最高质量的系统需要使用昂贵的专业捕捉设备，包括 100 多个摄像头。虽然该公司曾尝试过利用智能手机扫描生成质量较低的虚拟化身，但这一过程需要用户在三分钟内做出 65 种面部表情，并且捕捉到的数据需要数小时才能在配备高端图形处理器的机器上处理完成。

现在，Meta 和慕尼黑工业大学的研究人员论文中展示了一个全新的系统。该系统利用大型重建模型（LRM）和视觉变换器（ViT）技术，仅通过四张手机自拍照，就能在几分钟内生成一个逼真的头部虚拟化身。

Avat3r 系统基于变换器处理三维视觉任务的概念，利用视觉变换器预测一组三维高斯模型。这种方法类似于高斯溅射技术，已成功应用于一些逼真的场景中。尽管 Avat3r 系统生成虚拟化身所需的数据量和计算量非常低，但目前它并不适合实时渲染。研究人员表示，该系统在英伟达 RTX 3090 显卡上的运行帧率仅为每秒8帧。

然而，这一突破性的成果为未来指明了方向。随着人工智能技术的不断发展，Avat3r 系统的方法有望在未来实现数量级的优化。这意味着，头戴设备的用户可能只需拍几张自拍照，再等待几分钟的生成时间，就能拥有一个逼真的虚拟化身。