谷歌发布实时移动手部追踪技术

VR陀螺编译/Frida.WS

日前，谷歌已经向研究人员和开发团队发布了一种可用于移动设备的手部追踪方法，谷歌研究工程师Valentin Bazarevsky和范张（音译）称其为“手势识别的新方法”。

早在今年6月份，谷歌就在CPVR 2019上首次发布了在线即时手部追踪工具，供开发者们研究探索。这是一种开源的跨平台工具，开发者们可以自己创建加工管道来处理视频和音频等感知数据。

据称，这种方法可以通过机器实现高保真的手部和手指追踪，仅从一帧图像就可以推断出手部的21个三维“关键点”。

Bazarevsky 和Zhang在一篇博客中说到，“目前最先进的追踪方法依然要依赖强大的桌面环境来推断手部动作，但是我们的方法已经可以在手机上实现实时识别，甚至可以扩展到多个手。”谷歌开发团队希望这种手部追踪方法能激发出“更有创造性的案例，以及新的应用程序和新的研究途径”。

Bazarevsky和Zhang解释说，在他们的手部跟踪方法中主要有三个作用系统，一个手掌探测器模型(称为Blaze Palm)，一个“手部标识”模型，带有高保真的三维手部关键点，以及一个手势识别器，可以把手部关键点的布局图划分为独立手势集。

以下是从博客全文中提炼出来的几个细节：

研究人员声称，在掌心检测方面BlazePalm技术可以达到95.7%的平均检测精准度。

模型已经存入一致的内部手势，甚至可以识别部分遮挡的手部动作。

可以识别多种文化下的手势含义，如美国、欧洲和中国，“拇指向上”、握拳、“OK”、“Rock”和“蜘蛛侠”等手势。

Google是开源的，它在MediaPipe中的手部追踪和手势识别系统需要配合相关的首尾相连的使用场景和源代码。

Bazarevsky和Zhang说，谷歌未来的研究计划仍将放在手部追踪方面，探索更强大和更稳定的追踪功能，并希望扩充可以检测到的手势数量。此外，他们还希望支持动态手势追踪识别，可能会为机器手语翻译和流体手势控制带来好处。

不仅如此，配备更可靠的手持追踪设备是AR头显向前迈进的必要条件；因为头显依然需要外部摄像头来呈现虚拟世界，所以如何让机器理解这个世界将一直是个待解决的问题。

来源：roadtovr