3D体感识别技术

3D体感的技术是光学精密仪器与制造、模式识别、图形图像、机器学习和神经网络技术集大成者，跨越多个领域的高精尖技术。所以，在2010年微软Kinect推出以来，鲜有第二家公司和研究机构完全突破体感交互的所有技术环节。3D体感核心技术包括3D拍摄、人物提取和骨架识别。我们来浅析一下3D体感技术每个核心环节的技术特点。

一、骨架识别技术

骨架识别的技术解决方案主要由数模逻辑推理和机器学习两种方案。数模逻辑推理是通过有人体的某个关键可识别的关节点，通过人体特征推理出人体每个关节点的位置，这种方法简单易实现，但是人体是柔性、易变形，随机动态变化的，没有一种逻辑推理方案能够把人体的运动给模拟出来，导致识别准确率不高没有实用价值。这就是OMEK（被Intel收购）和Softkinetic（Intel合作伙伴）几年也不能推出商用化产品的原因。机器学习的方法是通过大集群计算机“学习”几千甚至万亿的人体行为样本，来得到基本人体行为模型，就像小孩子成长的过程。但是机器学习和神经网络是近几年来逐步兴起的技术，还不是太成熟，选择什么样的“学习”方法和什么样的特征样本是至关重要的，是需要不断试验的。但是大集群计算机计算本身成本就异常的高，动则千万人民币，没有扎实的研究基础，一般厂商不敢轻易尝试

二、人物提取技术 对于人物提取来说，就是要把复杂的动态的环境去除，把真实的“人”提取出来。这个在工程上也是有较高的难度，比如人与桌子接触，人与人握手和人体被局部遮挡。抽象理解就是人体分割和人物跟踪在现有的基础条件下，不会有完全精确的解决办法，只是相对的解决。

人体的动作是三维的，当然对人体动作的测量也必须是三维的。3D拍摄或测量技术实际上是相对比较成熟的技术，具有多种解决方案，比如单彩色摄像头，双彩色摄像头，光干涉，超声波、结构光散斑和TOF（测量光的飞行时间）等等。除了TOF，其他的测量方式可以说都是基于三角测距的原理，不同在于对特征点的提取的不同。

对于人体动作来说最主要的难题就是三维测量的实时性和3D测量数据对骨架识别的适用性，人眼的反应时间一般小于120毫秒，也就是说3D测量到骨架识别最大允许时间必须小于100毫秒，才能够与应用对接，这就要求三维测量的计算量不能太大，要不然成本太高就不适合消费级产品使用

三、3D拍摄技术

彩色摄像头是以颜色和纹理为基础的，光线细微的变化都会带来图像处理上较大的差别，对于纹理的细微分别决定了彩色摄像头只能局限在近距离（0.8米以内），这就是我们可以看到三维拍摄的图像都是黑白的灰度图的原因。彩色图像颜色提取的方式，抗光线和同色系干扰的能力极差，原理上决定很难把不同的物体区隔出来，得到的三维图像体感也是无法使用的。这就是为什么leapmotion必须是室内向上拍摄，通过LED把手掌点亮的原因。

光干涉的原理精度高，但是计算原理就决定了该方法计算量超大，为了减小计算，就要想办法省略掉物体的整体构建，只计算物体的边缘轮廓。但是物体的边缘轮廓的三维信息根本就做不出骨架识别的训练算法。Intel的realsense，还有Pepplesinterface面临的困境，可以三维测量，却不可以体感。

Primisense的结构光散斑测量方法，就是在测量精度和计算量上面向体感技术做出平衡的最优方案之一。Primesense的精度为厘米级，判断人体动作已经足够了。

TOF的方案分辨率很难再提高了，而且测量光飞行时间的晶振芯片和摄像头模组技术难度太高，从图像质量和成本的角度，TOF在很长一段时间仍然落后于结构光方案。超声波的精度太低，远距离实用性不强。

体感技术，在于人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备。便可让人们身历其境地与内容做互动。

举个例子，当你站在一台电视前方，假使有某个体感设备可以侦测你手部的动作，此时若是我们将手部分别向上、向下、向左及向右挥，用来控制电视台的快转、倒转、暂停以及终止等功能，便是一种很直接地以体感操控周边装置的例子，或是将此四个动作直接对应于游戏角色的反应，便可让人们得到身临其境的游戏体验。其他关于体感技术的应用还包括：3D 虚拟现实、空间鼠标、游戏手柄、运动监测、健康医疗照护等，在未来都有很大的市场。[1]

拿着手柄在电视上打游戏，握着鼠标在电脑网络游戏中厮杀的的游戏方式可能要落伍了。一项新的游戏方式――体感游戏或许将会成为游戏用户的新“宠儿”，它可以不用任何控制器，用肢体动作就可以控制游戏里的玩家，可以让用户更真实的遨游在游戏的海洋中。并且，随着技术的进步，体感技术还可以用在商场的服装店，甚至用户可以在网上随意试穿自己喜欢的衣服。

分类介绍

至今全世界在体感技术上的演进，依照体感方式与原理的不同，主要可分为三大类：惯性感测、光学感测以及惯性及光学联合感测。

惯性感测

主要是以惯性传感器为主，例如用重力传感器，陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数，分别为加速度、角速度以及磁场，再根据此些物理参数来求得使用者在空间中的各种动作。

光学感测

主要代表厂商为 Sony 及Microsoft。早在 2005年以前，Sony 便推出了光学感应套件——EyeToy，主要是通过光学传感器获取人体影像，再将此人体影像的肢体动作与游戏中的内容互动，主要是以2D平面为主，而内容也多属较为简易类型的互动游戏。直到 2010年，Microsoft发表了跨世代的全新体感感应套件——Kinect，号称无需使用任何体感手柄，便可达到体感的效果，而比起 EyeToy更为进步的是，Kinect 同时使用激光及摄像头（RGB）来获取人体影像信息，可捕捉人体3D全身影像，具有比起EyeToy更为进步的深度信息，而且不受任何灯光环境限制。

联合感测

主要代表厂商为Nintendo及 Sony。2006年所推出的 Wii，主要是在手柄上放置一个重力传感器，用来侦测手部三轴向的加速度，以及一红外线传感器，用来感应在电视屏幕前方的红外线发射器讯号，主要可用来侦测手部在垂直及水平方向的位移，来操控一空间鼠标。这样的配置往往只能侦测一些较为简单的动作，因此Nintendo在2009年推出了Wii手柄的加强版——Wii Motion Plus，主要为在原有的Wii手柄上再插入一个三轴陀螺仪，如此一来便可更精确地侦测人体手腕旋转等动作，强化了在体感方面的体验。至于在2005年推出EyeToy的Sony，也不甘示弱地在2010年推出游戏手柄Move，主要配置包含一个手柄及一个摄像头，手柄包含重力传感器、陀螺仪以及磁传感器，摄像头用于捕捉人体影像，结合这两种传感器，便可侦测人体手部在空间中的移动及转动