一张照片,生成高清晰的3D头像?!
你可以用它来制作自己的视频、游戏角色、虚拟形象,甚至是未来在虚拟世界里的形象!
这已经不再是科幻小说的情节,而是Meta(原Facebook)的研究人员创造的现实。
Meta的研究人员开发了一种名为Relightable Gaussian Codec Avatars(简称RGCA)的新技术,可以用一张普通的2D照片来生成一个高质量的3D头像,而且这个头像可以在任何光线下都能自然地调整亮度和阴影,就像真人一样。这个技术的原理是什么呢?让我们一起来看看吧。
RGCA的效果
RGCA的效果是令人惊叹的。它可以生成非常逼真的3D头像,而且可以在任何光线下都能自然地调整亮度和阴影,就像真人一样。
RGCA不仅可以生成静态的3D头像,还可以生成动态的3D头像,也就是能够跟随你的面部表情和姿势的变化而变化的3D头像。
下面是官方介绍
下面是在VR中使用的效果
下面是在实时视频中使用的效果
RGCA的原理
RGCA的核心思想是使用可学习的辐射传输来表征人体头部的多种材质。什么是辐射传输呢?
简单地说,就是光线在物体表面或内部的反射、折射、吸收和散射的过程。不同的材质对光线的反应也不同,比如皮肤、头发和眼睛等。为了能够准确地模拟这些材质的光学特性。
RGCA使用了一种叫做高斯编码的方法,将每个像素的颜色分解成多个高斯分布的参数,然后用一个神经网络来学习这些参数和光线的关系。这样,就可以用一个简单的公式来计算出任意光线下的像素颜色,而不需要复杂的物理模拟。
RGCA的另一个优点是,它只需要一张2D照片就可以生成一个3D头像,而不需要多张照片或者3D扫描仪。这是因为,RGCA使用了一种叫做隐式函数的方法,将3D空间中的每个点的位置和方向编码成一个向量,然后用另一个神经网络来学习这个向量和高斯编码的关系。这样,就可以用一个简单的查询来得到任意位置和方向的像素颜色,而不需要存储一个完整的3D模型。
RGCA的未来
RGCA是一种非常先进的技术,它为3D头像的生成和应用开辟了新的可能性。但是,它也还有一些局限性,它目前只能处理人体头部的材质,而不能处理其他部位的材质,比如衣服、饰品等。
它也还不能处理一些特殊的光线效果,比如透明、反射、折射等。它也还需要一些专业的设备和软件,才能实现3D头像的生成和使用。因此,RGCA还有很多的改进空间和发展潜力。
Meta的研究人员表示,他们将继续研究和优化RGCA的技术,让它能够处理更多的材质和光线,以及更多的场景和应用。
项目地址:
https://shunsukesaito.github.io/rgca/
论文地址:
https://arxiv.org/pdf/2312.03704.pdf
领取专属 10元无门槛券
私享最新 技术干货