visionOS 2改进Vision Pro手部追踪和场景理解追踪功能

visionOS 2 在 Apple Vision Pro 的手部追踪技术上实现了重大突破，并深化了头显对周围环境的认知。这些革新虽然未在 WWDC24 的主题演讲中亮相，但苹果工程师在随后的线上开发者会议上进行了详尽的阐释。

本次更新中，visionOS 2 主要对手部追踪系统进行了两大关键升级：刷新率和预测机制。

刷新率的大幅提升，从原先的 30Hz 跃升至 90Hz，显著优化了追踪性能。这一进步虽然仅针对整个延迟管道的一小部分（原先总延迟约为 127.7ms），但在最佳条件下，它成功地将手部追踪的延迟最多减少了 22ms。

此外，为了应对双手在自由活动过程中可能出现的遮挡或离开传感器视场等问题，visionOS 2 为开发者提供了预测功能作为选项。该功能允许系统在某些特定情况下预测用户的手部姿态，从而确保追踪的连续性和准确性。然而，值得注意的是，启用预测功能会引入一定的延迟。

苹果建议，在需要将虚拟物体精准置于手中的场景下启用此功能，但在追求流畅线条的 3D 绘图等应用中则不推荐使用。

自推出以来，Vision Pro 就利用 LiDAR 传感器为开发者提供了持续更新的环境 3D 网格。而 visionOS 2 进一步扩展了此功能，引入了房间追踪技术。

现在，系统能够为开发者呈现每个房间墙壁和地板的精确几何形状，甚至支持非矩形的墙面结构。当用户进入新房间时，系统会即时通知开发者，并呈现仅适用于该房间的特定几何图形。这一创新为开发者提供了丰富的应用场景，例如，当你步入卧室时，虚拟宠物可以热情地迎接你。

除了房间追踪外，visionOS 2 还在平面检测方面取得了重要进展。

与 visionOS 1 仅能检测水平和垂直平面不同，visionOS 2 现在能够识别倾斜平面。这一改进使得 visionOS 的开发者能够创建更加智能、与物理环境深度融合的应用，这些应用能够自适应空间布局，并精准锚定在现实世界的各种表面上。