Facebook面部追踪系统：一套眼球＋语音＋AI的轻量化方案

此前我们多次报道Facebook Codec Avatars虚拟化身和面部追踪的研究，该研究中Facebook采用了一系列复杂面部追踪技术，从而在VR中呈现出一个惟妙惟肖的虚拟化身，无论是眼神动作、面部表情，还是肢体动作，都足够自然和逼真。

不过，最开始版本（2018年开始研究）需要132个相机去进行专业化的捕捉，显然这是一个方案的定型，通过现有技术方案实现一个高的标准。当然，这样的一套设备对于落实到最终产品中也会降低用户体验。

去年，Facebook就公布了三摄新方案，通过内置两个摄像头和一个鼻梁下方捕捉嘴部的摄像头，看上去已经很完美。

熟悉Facebook或FRL的朋友可能知道，Facebook近两年在人工智能算法上的投入大幅增加，而算法的加入就是为了解决硬件和算力不足等等问题。

近期，Facebook公布了新一版Codec Avatars的研究，其基于AI技术，用更轻量化的方案去达到类似高标准的效果。其中，光学捕捉方面几乎双眼的眼球追踪，而嘴部动作则基于麦克风拾取的人声，也就是双摄＋麦克风＋AI技术。

眼球追踪用途不用说，它可以准确识别眼球动作从而模拟更真实的眼神和注视效果，而通过麦克风识别你的说话语音来模拟嘴部和面部动作，可能你会质疑它的效果。

上面就是最终效果。研究人员表示，通过音频数据可以还原微妙的面部动作，例如舔嘴唇等动作都可以模拟。不过值得注意的是，这需要具备高品质的麦克风。

相关阅读：《一个眼神都不放过，FRL公布自然表情系统MCA》

参考：fb