Oculus Insight定位系统大揭秘：还可用于AR眼镜

当Facebook公布Rift S产品时，大家一致的将目光放在Inside-Out定位上，同时手柄和Quest通用也表明两者定位追踪效果上似乎差距不大。

当然也有一些朋友质疑其追踪范围和追踪效果，Facebook则表示：Insight追踪技术已经足够接近此前Rift的Outside-In追踪效果，几乎没有公司能做到这一点，并认为这种省去基站的追踪方式是C端VR的趋势，未来还将不断对其优化。

那么Insight追踪到底神奇在哪里？除了更方便你在VR中移动外，更重要的是它处采用了基于计算机视觉的SLAM技术，可提供准确度达毫米级的追踪效果。今天，Facebook就在一篇博客中阐述了这项技术的诞生和开发过程，接下来就跟随青亭网来了解一下。

Insight追踪的诞生，与一名叫Anna Kozminski的软件开发经理有很大渊源。据悉，当她在2018年加入Oculus的时候，有一个明确的目标，那就是：帮助VR设备摆脱连接线的束缚，使得任何人可以随时随地戴上头显后都能立刻进入沉浸的VR世界，不需要配备额外的追踪基站。

Kozminski表示：Oculus希望打造一款，能够像在现实生活中一样在VR移动的VR头显。而采用inside-out追踪后，VR头显的体验感也能像耳机那么方便了。

在Insight问世之前，Oculus Rift依赖外部基站来实现对手柄和头显的追踪，这些基站追踪效果足够好，不过需要与PC相连，如果用户想从一个房间移动到另一个房间，就需要重新摆放这些基站，并不很方便。

于是Kosminski所在的团队希望利用功能足够全面的inside-out定位系统，取代原来C端VR头显使用的outside-in。而功能全面指的是，可实现6DoF手柄追踪，还要能精准定位两个手柄和头显的位置。

但这个目标却并不简单，Kosminski和团队面临诸多挑战，比如：将研究实验室的顶尖计算机视觉技术应用人人都能使用的C端VR头显中，而且还要将追踪误差控制在毫米级以下，能识别到用户头部微微的倾斜，或者手的抖动，同时还要适用于无数种不同的家庭场景。另一方面，该追踪方案还需要足够省电，以便用在Oculus Quest这种VR一体机中。

开发先进SLAM技术

为解决这些问题，Kozminski和团队决定先使用计算机视觉和定制的算法来生成周围环境的实时3D地图，接着让VR头显在地图中计算出用户的位置，然后转化到VR中。就这样，一种名为Insight的追踪系统诞生了。

Insight追踪方案以SLAM技术（即时定位与地图构建）为基础，其原理是通过融合计算机视觉与多个传感器捕捉到的数据，在不断更新的数字地图中对物品进行定位。

当然，SLAM并不是一项新技术，此前曾用于机器人（比如扫地机）和智能手机的AR功能中，而且在2016年的时候Oculus也曾通过Santa Cruz VR原型机（Quest前身）对其进行展示。

而与普通的SLAM技术不同的是，Oculus Insight需要高精准度、高效率的定位，因此要采用来自实验室的追踪和计算机视觉最新技术。

据了解，Insight所采用的技术中有很多诞生自实验室，而且Kozminski的团队中有许多工程师来自于苏黎世联邦理工学院和苏黎世大学联合组建的公司Zurich Eye，这家公司在2016年被Facebook收购，曾专注与研究基于计算机视觉的自动导航系统。

该团队在为Insight开发SLAM技术的时候，借用了Facebook在AI领域的多年研究和工程经验，开发了一款在视频中识别目标和动作的SLAM系统，和一个适合在移动VR设备中运行的高效计算机视觉算法。

提高SLAM追踪效率

前面也提到，若要将Insight用在Quest VR一体机上，那么它需要足够省电。因此，为了优化该追踪方案的效率，Kozminksi找来了团队中的首席机器感知架构师Oskar Linde和工程经理Joel Hesch，在这三个人的带领下，Insight团队借鉴了Facebook此前在移动端SLAM上和Outside-in追踪上的研究经验，改造出可内置在VR头显的inside-out定位系统。

Kozminksi找来的这两个人来头不小，Linde在高效SLAM领域有足够多经验，他曾经是13th Lab的联合创始人之一，这家公司曾在2011年展示过当时世界首例用于移动AR游戏的SLAM技术，后来在2014年被Facebook收购。Linde也一同加入Facebook，并创建了Insight追踪的开发团队。而Hesch此前也在用于机器人定位、移动AR/VR的视觉、激光和惯性传感器相关的SLAM应用上有一定经验。

他们发现，在手机上，SLAM功能只需要使用手机的单一摄像头，相比之下，VR头显具备更多摄像头、传感器，而且在3D空间中还需要同时追踪3个不同的目标。

Kozminski表示：VR的追踪系统需要同时追踪三样东西，即：VR头显和两个手柄，而且还需要保证实时的准确性。

除此之外，将Insight追踪用在VR头显也需要克服一些其他其他困难，比如：两个VR手柄在靠近或远离头显的时候（例如挥动虚拟剑或操控虚拟太空船时），上面的红外LED灯也会彻底改变外观。另外，Insight采用多个传感器，需要从头显和手柄的观星测量单元中提取加速和速度数据，而且还要实时处理这些数据点。如果用在Quest上，这些计算工作都需要在高通骁龙835移动芯片上完成。

提高追踪准确度

为了解决上述问题，Oculus Insight团队决定先优化整个追踪系统。于是开发了一个优化追踪系统准确度和速度的计算机视觉算法，然后录制了来自大量不同样品环境的数千小时视频，用这些视频训练算法去识别环境中的特征。

在识别到环境特征后，Insight系统可通过追踪沙发的角落或桌子边缘，用三角测量法实时捕捉用户在房间内的具体位置，原理类似于人眼通过识别周围物体来确定方向。

接着，为了进一步将计算机视觉算法的精准度提高到毫米级别，Insight团队还采用多个OptiTrack动捕传感器来对比追踪定位的结果。

关于优化UX

尽管稳定性和准确性对于定位追踪很重要，但由于这将会成为用户经常使用的功能，体验感当然也是一大要素。比如，需要解决VR带来的一些感知缺陷，包括当身体的移动与在虚拟世界中的移动不匹配时，所产生的方向迷失感，又或者是视觉抖动（每一帧之间的视觉频闪和拖尾效应）等等。

此外为了更好的体验感，Insight团队花费大量时间和精力，以自己为实验对象，配合OptiTrack追踪系统在各种环境和情形下测试Insight追踪效果。

关于Insight追踪未来

目前，Insight追踪已经为Quest和Rift S带来了足够便捷VR体验。与第一代Rift相比，Rift S现在只需要连接到电脑上就能使用，不需要额外的连接线。而对于Quest来讲，在帮助它实现一体化的同时，Insight也为其提供了对大空间追踪的支持。

不过Facebook认为Insight追踪并不只是消费级VR的趋势，当Oculus Insight技术与AR结合，终将为未来的设备提供全新的体验，甚至为轻量化AR眼镜打下基础。