Facebook开源DeepFovea，AI让AR/VR更无语伦比

一直以来，我们都在追踪报道Facebook Reality Labs（以下简称：FRL）的各项研究。其中，2018年报道了关于实时动态模糊效果的研究DeepFocus，2019年再次报道了与DeepFocus功能相反的DeepFovea功能。

由此，让我们看到了一套基于AI、结合人眼视觉系统而开发出来的AR/VR渲染解决方案，更看到了未来轻量化AR/VR的无线可能性。至少，这样强大的AI系统一定程度上解决了AR/VR算力与功耗的矛盾。

虽然，DeepFovea在2019年11月SIGGRAPH Asia首次公开，但当时并不完整。近期FRL公开了完整版本DeepFovea，并已在Github开源，现在各位小伙伴们可以自己进行探索和尝试这项研究了。

DeepFovea的背后是一个生成式对抗网络（GAN），它能够通过较为稀疏像素的图像，生成一幅足够逼真、自然的图像（包括实时的视频）。在Facebook的测试中，DeepFovea可以将渲染所需的计算资源降低10-14倍。

DeepFovea同样是基于人眼特性，注视区域清晰，区域外则模糊。DeepFovea目的就是通过输入这种注视区域外大幅丢失像素的视频，来帮助GAN模型学习如何填充缺失的图像细节。结果是，在60×40度视场角的视频中，通过稀疏像素的模糊视频生成的视频流在像素密度上降低了99%，并且这套系统还可以降低图像闪烁、重叠、伪影等，最终达到人眼辨别真假的阈值。