CFan科学院：构建可自由行走的VR世界

不少人误以为VR就一定是三维立体的，这其实大错特错。许多VR游戏的场景通过人工建模制成，确实是三维的，而且玩家还能在其中“自由”移动，但是那些通过VR摄像机实景拍摄的VR全景视频，本质上却依然是平面的，观众当然无法进入到这种二维世界里。下面我们就来聊聊二维的VR视频如何转换成三维场景，以及观众如何在其中“自由”移动、游览。

为何不能在VR全景里行走

当我们戴上眼镜进入VR全景视频（本文指实景拍摄的VR视频）构建的虚拟空间时，就恍如置身于立体的世界，可以上下左右自由环顾四周的风景。但是很快我们就会发现，在这个VR空间中“我”却寸步难行。

为什么能随意看却不能随意走？这是由VR全景视频的本质决定的。在观看普通电影的时候，从来没人奢望过能走进电影的世界里，因为我们都知道电影只是一块幕布，是一个二维的平面，当然走不进去。

其实VR全景视频本质上也是二维平面的“幕布”，所不同的是，它不只有一块幕布，而是由很多块幕布“缝合”而成，包围在我们四周，这和我们观看360度环幕电影时的感觉相似（图1）。所以VR全景视频产生的是360度的沉浸感，却并非立体的影像。

图1 环幕电影就是一个外化的VR全景视频

VR摄影有专门的摄像机，一般由6台独立的相机组合而成（最少的由2台相机组合，多的还可以是9台、12台等等），分别对着上下左右前后6个方向同时取景拍摄。每台相机拍摄到的实际上就是一个普通的视频，通过后期软件将所有相机的视频“缝合”在一起后，便生成了极具沉浸感的VR空间（图2、图3）。如上所述，沉浸感并非三维立体，本质上它们还是二维平面的，所以观众当然无法进入其中行走、浏览了。

图2 VR摄像机从场景的不同角度同时拍摄

图3 VR将不同角度的二维视频“缝合”成一个整体

6DoF和空间自由度

在探索VR视频如何进行三维重建之前，我们先来了解一个关键概念——自由度。自由度DoF是Degree of Freedom的英文缩写，统计学中表示变量的个数，而在物理力学系统中则表示的是独立坐标的个数。一个立体空间总共有X、Y、Z三条直角坐标轴，这便是3个自由度。如果空间中的某个物体可以不受任何约束的运动，那么它沿着每条轴至少可以做平移和旋转两种运动，2乘以3等于6，所以这个物体在空间总共具备6个独立的运动方式，这便是6个自由度了（6DoF），下面的图片形象地说明了这一点（图4）。

图4 三条直角坐标轴和两种运动方式构建6DoF（网上动图示例：http://t.cn/E7cfa1G）

用这一概念对前文所述的内容重新做个总结，就是普通电影只有1DoF，无论我们前后左右的移动位置，所看到的电影画面内容是固定不变的。而VR全景视频则有3DoF，当我们的眼睛沿着X和Y两条轴旋转运动时（也就是上下左右看），可以看到不同的画面内容。

360度光场相机实现6DoF空间

普通的VR全景视频中，观赏者被赋予3DoF的旋转运动能力，所以在固定的一点可以看到不同方向的场景。不过普通的VR全景视频不具备3DoF的平移运动能力，所以无论我们如何走动，看到的画面都没有任何改变，这也就是我们在VR空间中没有移动感的主要原因。

国外厂商推出一种360度光场相机（图5），可以制作带有深度信息的6Dof视频。

图5 光场相机产品图

它的原理类似于地理上的三角测量法，因为光场相机是球面的，空间中的任意一点可以被多个相机观测到，这便产生了许多重合区域，从而最大化记录场景内容，通过运算获取被摄物体的深度信息（图6）。当我们观看光场视频时，随着走动，这些深度信息转化为相应图像显示出来，便给了我们真实的移动感。

图6 光场相机的拍摄原理

不过与VR游戏中通过软件实现的3D建模不同，光场相机要受物理镜头的制约，它记录下的三维信息非常有限，当观众的移动超出一定范围，因为没有了更多新信息，便会导致画面不再变化，也就意味着观众的行动“受阻”了，远没有VR游戏中的“自由”。

定位追踪与6DoF三维重建

在最近的Oculus Connect5大会上，Oculus发布了首款能够完全独立运作6DoF的VR一体机Santa Quest，它可以在数千平米的范围内进行追踪，具备三维空间建模能力，将VR与现实世界融为一体。

Santa Quest使用的Oculus Insight，是他们对负责追踪和定位等各技术的统称，通过放置在Santa Quest头盔外侧的四个超广角镜头，配合特殊的算法实时追踪用户的位置，在我们于VR空间进行6DoF运动的时候，实时计算并显示相应的情景，这样我们在这个虚拟世界中就获得了真实的移动感，使得我们能在这个VR世界里任意走动，浏览不同的风景（图7）。

图7 Santa Quest构建的VR空间可以进行6DoF运动

Santa Quest的重要革新，不只是实现了6DoF，而在于它对场景的实时三维重建，它能识别出现实场景中的各种物体的形状甚至是材质，然后通过创建三维点云地图，让我们在VR的环境中安全的走动，防止现实中的碰撞（图8）。

图8 Santa Quest进行三维重建

VR技术的热潮已经过去，现在是它的平稳发展时期，未来它不只是会给我们带来惊喜，更多将是有助于生活的实际应用，值得我们随时的关注。