手势交互之手势识别与检测

本文作者谭维，作者分别从产品、技术的角度，向我们展现了手势交互的特点与实现方式。

01

人机交互的发展历程

我们与计算机的交互经历了“键盘鼠标”到“触控屏幕”再到“语音手势”的发展历程。

手势交互是指：利用计算机图形学等技术识别人的肢体语言，并转化为命令来操作设备。

手势交流作为一种新兴的蓬勃发展的交互方式，具有自然方便的优点，它将不断融合到我们的日常生活中来。

微软、Leap Motion、Hand CV是手势交互领域的行业先锋，它们依托摄像头、传感器等硬件技术，计算机视觉、深度学习等软件技术将手势识别应用到了游戏设备、VR设备、车载设备和智能家居等场景中。

手势交互具有不少优势：

1、学习成本低，识别人的自然手势；

2、 可以脱离实体接触，实现远距离控制；

3、 交互动作更加丰富和自然。

但同时，它也具有成本高、技术复杂、尚不成熟等缺点，目前还是是一个成长发展的交互领域。

02

手势交互产品

1、微软体感设备Kinect

Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字。

伴随着名称的正式发布，Kinect还推出了多款配套游戏，包括Lucasarts出品的《星球大战》、MTV推出的运动游戏《Kinect Sports》、冒险游戏《Kinect Adventure》、赛车游戏《Joyride》等。

Kinect不需要使用任何控制器，它依靠相机捕捉三维空间中玩家的运动，通过专门的传感器识别深度数据和力度数据，带给玩家前所未有的互动体验。

2、 Leap Motion

Leap Motion是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器，随后于5月19日在美国零售商百思买独家售卖，并于2014年8月30日正式登陆中国。

Leap Motion通过传感器追踪手指，挥动手指即可浏览网页、阅读文章、翻看照片等。

3、Hand CV

Hand CV是北京英梅吉科技独立研发的单目手势识别交互系统。

Hand CV 是一套基于单目摄像头的手势识别交互系统及SDK，它可以让用户在不购买任何外设的前提下实现手势操控。Hand CV最大特点是基于单目视觉，因此它们的SDK可以支持手机等的移动设备。

03

静态手势识别与检测

1、 静态手势与动态手势

相较于其它交互方式，手势交互学习成本低、交互动作丰富并能实现远距离控制，具有显而易见的优势。

手势交互分为静态手势和动态手势，静态手势识别手型，例如“大拇指”、“剪刀手”；动态手势识别手的移动形成的轨迹，例如“空中写字”。

2、传统的静态手势识别方法

传统的静态手势识别技术通常包含“手部分割”、“特征提取”、“手势分类”三个模块。

可以利用基于肤色或边缘的分割方法将手型从一帧图像中分离出来；对于分割后生成的手型二值图，可以利用自定义算法或SIFT/SURF算法提取手型特征；最后将特征向量输入到训练好的分类器中进行手势识别。

这种手势识别方法特别容易受到光照影响和背景干扰，但是高效的实现可以达到实时识别的效果。

3、基于深度学习方法的手势识别与检测

近年兴起的使用深度学习方法的图形分类与检测方法为手势识别开创了一条新的大道。

使用深度学习框架实现的卷积神经网络模型，例如使用TensorFlow实现的SSD-MobileNet，我们只需要准备好数据就能训练出模型，并达到较好的手势分类与检测效果。

这种方法识别精度高，对干扰的忍受能力强，但是还很难达到实时识别的效果。