DeepFocus，基于AI实现更逼真的VR图像

DeepFocus是一种基于AI的渲染系统，用于在VR中渲染自然逼真的人眼聚焦效果。本文来自Facebook工程博客，LiveVideoStack进行了翻译。感谢阿里巴巴高级算法专家盛骁杰提供的技术审校。

文 / Facebook工程博客

译 / 许海燕

审校 / 盛骁杰

原文：https://code.fb.com/virtual-reality/deepfocus/

研究内容：

一种新的基于AI的框架，用于在VR中渲染自然逼真的人眼聚焦效果。DeepFocus可与高级原型头盔配合使用，在不同的焦距实时渲染模糊效果。例如，当有人戴着支持DeepFocus的设备观看附近的一个物体时，它会立即聚焦并变得清晰，而背景物体则会像在现实生活中一样，呈现出失焦模糊效果。这种失焦模糊（也称为视网膜模糊）对于实现VR中的真实感和深度感知非常重要。DeepFocus是第一个能够为VR应用程序实时产生这种效果的系统。我们现在开放我们的工作和数据集，以帮助VR研究界的其他人。

它是如何运作的：

一些传统方法，例如使用累积缓冲算法（accumulation buffer），可以实现物理上精确的失焦模糊。但它们无法实时生成复杂，丰富的内容，因为这种处理，即使是对于最先进的芯片，要求也太高了。与此不同的是，我们使用深度学习解决了这个问题。我们开发了一种新颖的端到端卷积神经网络，一旦眼睛看到场景的不同部分，就会产生具有精确视网膜模糊的图像。该网络包括新的保持体积的交织层，以减少输入的空间维度，同时充分保留图像细节。然后，网络的卷积层运行在相同的，降低了的空间分辨率上，从而运行时间能够明显减少。

为什么重要：

随着对新型VR头显技术的研究不断深入，DeepFocus将能够模拟精确的视网膜模糊，从而产生非常逼真的视觉效果。该平台还表明AI可以帮助解决VR渲染高度计算密集型视觉效果的挑战。DeepFocus为克服未来新型显示系统的实际渲染和优化限制提供了基础。

由于DeepFocus仅依赖于标准RGB-D颜色和深度输入，因此它几乎适用于所有现有的VR游戏和应用程序。它还兼容VR研究界目前正在探索的所有三种头显类型，分别是：变焦显示器（如Half Dome），多焦点显示器（例如，FRL先前的工作）和光场显示器。

详细了解Facebook Reality Labs如何创建DeepFocus。

（https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/）

阅读完整的论文：

DeepFocus：用于计算显示的学习图像合成

（https://research.fb.com/publications/deepfocus-siggraph-asia-2018/）