Meta的全身追踪真正实现或许和宣传有较大出入

Quest 的“全身追踪”API 与它之前所宣传的可能有所不同。

全身追踪 API 作为运动 SDK 的一部分于周四发布，其中还包括用于Quest Pro的 眼动追踪 API 和 面部追踪 API 。

官方 Oculus 开发者 Twitter 帐户宣布了该版本的发布，文档中的插图显示了正在跟踪用户的全身姿势。而这条动态的大量转发导致许多人认为 Quest 刚刚获得了全身追踪的支持——但 API 的名称和插图都具有误导性。

Meta的手跟踪API提供了用户的手和手指的实际位置，由朝外的摄像头跟踪。它的眼动追踪API和面部追踪API提供了用户的实际凝视方向和面部肌肉运动，由Quest Pro的内面向摄像头跟踪。但Meta发言人向UploadVR证实，“身体追踪”API只根据你的头和手的位置提供“模拟上半身骨架”。这不是真正的追踪，也不包括你的腿。

实际上这个API的一个更好的名称应该是身体姿态估计。该发言人将该技术描述为逆运动学(IK)和机器学习(ML)的结合。IK是指根据已知位置估计骨骼(或机器人)各部分未知位置的一类方程。这些方程式为当今应用中的所有全身VR化身提供了动力。开发者不需要实现(甚至不需要理解)IK背后的数学原理，因为像Unity和Unreal等游戏引擎都内置了IK，而像流行的Final IK等软件包也提供了完整的实现，价格不到100美元。

除非你使用像HTC的Vive追踪器这样的身体追踪硬件，否则VR的IK往往是不准确的——对于每一组给定的头和手的位置，都有许多潜在的解决方案。Meta的卖点在于，它的机器学习模型可以免费生成更精确的身体姿势。演示视频似乎证实了这一说法，尽管没有下半身，而且支持仅限于Quest耳机。凭这两点，大多数开发人员可能不会接受这个提议。

然而，Meta 的 Connect 2022 活动中给出的提示以及研究表明，未来将增加支腿。

全身追踪产品经理 Vibhor Saxena在针对开发人员的一次演讲中说：

“未来几年身体追踪的新改进将通过相同的 API 提供，因此您可以确保您将继续从 Meta 获得最佳身体追踪技术，而无需切换到不同的界面。

我们很高兴能为您带来这些功能，并努力在未来几年内让身体追踪变得更好。”

在主要主题演讲中，马克扎克伯格宣布Meta Avatars 正在通过一个同样具有误导性的演示获得支持。今年再过段时间Legs 将出现在 Horizo​​n上，然后在明年进入其他应用程序的 SDK。Saxena 证实 全身追踪 API 利用了支持 Meta Avatars 的相同底层技术——这似乎表明该 API 也将获得支持。

你可能会想：如果全身追踪 API 只是基于头部和手部位置的估计，它怎么可能包含腿？上个月Meta 展示了这方面的研究，利用了机器学习的最新进展。但显示的系统并不完全准确，延迟达到了160ms，在72Hz下超过11帧。这种计时速度太慢，输出也不完美，所以你不能指望低头看到自己的腿在你预期的位置上。Meta首席技术官(CTO)的评论显示，该公司可能会使用类似的技术，在别人的虚拟形象上展示腿：

“如果你的虚拟角色的腿与你的真实腿不匹配，大概率用户会感觉到奇怪。但是我们实现看到其他人的腿。

因此，我们正在研究对旁观者来说看起来很自然的腿——因为他们不知道你真正的腿实际上是如何定位的——但是当你看着自己的腿时，你可能还是会什么都看不到。这是我们目前的策略。”