打通宝马汽车IMU数据，Quest Pro实现位置运动精确匹配的AR/VR驾乘体验

查看引用/信息源请点击：映维网Nweon

项目取得了进展

（映维网Nweon 2023年05月18日）Meta曾在2021年宣布与宝马合作，共同探索如何将AR/VR集成到智能汽车之中。他们认为，如果成功，相关技术可以彻底改变汽车、火车、飞机等出行方式，并开启通信、娱乐和实用的新形式。

日前团队分享了这一项目的最新进展。其中，通过利用宝马的惯性运动传感器IMU数据，Quest Pro已经能够精确呈现匹配汽车行驶的稳定混合现实体验。

VR头显配备了诸多传感器，但移动车辆构成了一个棘手的挑战，因为诸如Oculus Insight这样的追踪技术主要使用惯性运动传感器和摄像头来精确估计头显的位置和运动。

在移动环境中，亦即在非惯性参考系中，这两种模式会产生冲突，因为摄像头观察相对于汽车内部的运动，而惯性运动传感器则测量相对于世界的加速度和旋转速度。这种不匹配意味着诸如Meta Quest 2这样的VR头显目前无法在车辆转弯或加速时显示稳定的虚拟内容。

但经过一番努力，Meta和宝马的研究人员成功将宝马汽车传感器阵列的IMU数据实时整合到Project Aria眼镜的追踪系统中，并允许系统能够计算出眼镜相对于汽车的位置。

这是一个巨大的壮举，因为在将所述追踪系统转移到Meta Quest Pro之后，它允许系统使用汽车的数字孪生来准确地将虚拟对象固定在移动的汽车之上。实际上，团队已经能够使用这个全新的追踪系统和Meta Quest Pro，并在移动的汽车中展示混合现实乘客体验。

如视频2：35秒至2：47秒所示，设备可以在车内呈现一系列的炫酷混合现实体验，比方说MR通话，MR放松体验，以及MR游戏等等。

当然，目前项目依然在推进之中，而团队的下一步将是添加汽车相对于世界的位置，而这将带来世界锁定的渲染体验。

展望未来，Meta将继续与宝马合作，进一步利用现代汽车不断增长的机器感知能力，以实现未来的用例。例如，使用汽车精确的六自由度定位系统可以在车外呈现世界锁定的虚拟内容，比如识别地标和其他兴趣点。

这家公司总结道：“这是一个令人兴奋的愿景，同时是我们承诺要走的道路。”