manmotion支持实时2D/3D手部跟踪和手势控制
manmotion可用来开发VR和AR应用,进行AR手势的识别及跟踪。
相对于其他的AR平台:
ManoMotion SDK是Unity SDK,通用于Android和iOS。 且对设备硬件没有太多要求。
因此橙子推荐它作为手势识别的插件。
ManoMotion提供了关于手部的深度信息, 相对深度是手到相机的距离,值在0到1之间。
骨架跟踪包含了骨架的置信度和关节信息。
(x,y,z)为手部骨骼的21个关节中的每一个提供了单独的位置。可以配置SDK以2D或3D方式返回位置信息。
SDK提供了一个和两个手跟踪。
手势分析可以用来理解用户的意图。
ManoMotion SDK通过以前和当前帧的信息,确定用户所执行的手势类型。
这些信息可以分为三类,帮助开发者设计体验,定制不同的行为,并映射到Unity世界中。
ManoClass是每一帧的手的原始检测。
对于给定的每一帧,SDK将返回一个ManoClass结果,它可以是以下任何一个手类(Grab, Pinch, Point, NoHand)。
连续手势识别旨在理解和分类用户是否持续执行一个给定的手势,比如拖拽。
连续手势是根据现在和过去的信息计算的。
这意味着只有当用户在一定的帧数(时间)内保持相同的手部姿势时,才会触发连续手势。
手势回调是一次性手势。
当完成一次动作时,比如点击、张开手,它们将会被识别为触发器/事件,类似于鼠标点击。
ManoMotion可与ARFoundation进行拓展,实现SLAM空间定位功能。
ManoMotion也可与Vuforia进行拓展,实现更多AR功能。
ManoMotion可以识别如下的基础手势, 这些手势也是免费版所包含的。
比如抓取,识别到当前手势处于哪个状态。
比如连续指向。
即双指捏合,完成一次点击效果。
SDK分为两个版本:
免费版的功能:
付费版的功能:
以上便是该插件所有的功能,
本专栏会分别讲解每项功能如何实现,并辅以案例教学。