未来社会临场感中的计算机视觉

本文来自Fourth Workshop on ComputerVision for AR/VR 2020的一篇演讲，演讲者是来自Facebook Reality Labs的科学家Michael Abrash。他主要介绍了AR/VR趋势的必然性，以及其中必不可少的CV技术。

由于Michael并不是技术方面的专家，所以本文并没有谈论CV的任何具体技术。Michael认为迄今为止，以人类为中心的计算涌现出了两波浪潮，第一波浪潮是个人电脑革命，第二波浪潮就是基于AR/VR的应用。

‍随着第一台个人电脑的出现，mac和windows的传播，技术市场开发人员在此基础上创建了我们今天使用的软件。‍‍摩尔定律使得电脑体积变小的同时速度提升了十亿倍，这导致我们在‍醒着的几乎每分钟，都被同步的虚拟世界所包围。Michael把这个称为第一波以人类为中心的计算。它在所有方面改变了我们的生活，让我们通过二维与虚拟世界互动。但它只使用了我们在现实世界中拥有的很小一部分能力，去吸收信息和执行操作。

与此相反的是，AR/VR有潜力与人类的全部能力对接。当AR眼镜成为被社会普遍接受的可穿戴‍‍信息设备，它们赋予你连接的能力，在任何地方任何时候都可以与他人分享和协作，我们用双手可以与虚拟世界尽情地交互。‍这样真实和虚拟世界可以自由混合，这是第二波以人类为中心的计算，从某种角度来讲这才是基础的，是第一波做不到的，因为它最终有可能包含所有可能的人类经验。在很大程度上，AR/VR有潜力提供任何‍‍你身体能够经历的东西。当然这‍‍‍要很长时间才能完全实现，目前AR/VR技术还远不成熟，创建这些平台需要大量的工程，但这仍是不可避免的趋势。

Michael在演讲中讨论了他研究了很久的内容：一个虚拟的协同工作空间。这是一个可以与他人分享的虚拟空间，是一个非常富有成效的协作环境。‍在这个环境里，能用自己的双手‍去操纵真实和虚拟的对象并‍配有触觉反馈。虚拟协同工作空间‍的应用非常广泛‍，它给‍娱乐、通讯、教育和生产力领域都带来了丰富的创造性。‍在未来的某一天，它将使我们能够有效地远程工作，会让包括我们在内的数以百万计的信息工作者‍‍‍更有效率、更加紧密地连接在一起。同时，人们可以住在负担得起的地方，同时大大减少商务旅行‍‍带来的能源和环境消耗；公司能够利用世界各地的人才，‍‍人才也能找到有意义的高薪工作，‍‍不论出生。这将非常有意义。

实现这样的协同工作空间需要‍更好的硬件软件栈和整体的平台，来支持各种用途。例如，需要足够的分辨率和足够好的图像质量，虚拟显示器才能和现实相媲美‍。需要能够使用移动GPU或通过无线的方式传输数据来呈现高分辨率的能力，这很有可能意味着我们需要新的图形管线和很强的眼动跟踪能力。‍还需要很好的实时混合现实能力，这样我们才可以认识到我们周围的世界，并与其产生互动。‍

过渡到这种状态显然需要长期的研究和工程上的努力。‍Facebook Reality Labs在过去五年一直在推动上述领域的发展，当我们回过头来再看这个研究领域列表，我们会发现‍一半的列表都包括计算机视觉。‍虚拟协同工作空间几乎没有哪个方面离得开CV‍。Michael通过几个视频展示了一些计算机视觉领域的研究，包括hand tracking，eye tracking，physically correct human simulation，avatars和world context。

实现理想中的AR/VR还有很长的路要走，但这是一个真正的未来，这个未来建立在计算机视觉的基础上。‍总的来说，这篇演讲主要讲述了两点内容。第一，‍‍AR/VR是一个巨大的、混合的具有挑战性的任务，但第二波浪潮已经来临，这将在我们的有生之年重新定义我们的世界。‍第二波以人类为中心的计算浪潮，‍不仅仅是平台的转变，更是一种范式转变，将持续数十年甚至更长时间。第二，‍计算机视觉是这一转变的核心。因为我们仍然处于这个进程的早期阶段，存在巨大的杠杆，‍这意味着我们每个人都有机会改变世界。‍