智能手势交互全攻略，知识地图

Kurtenbach和Hulteen这样定义手势：

手势是包含信息的身体运动。

挥手告别是一种手势，但按下键盘上的键不是手势，因为手指在敲击键过程中的运动既没有被观测到，也没有特定意义，关键是按了哪个键。

从文本用户界面到图形用户界面(GUI)，“可视化”的领域日趋丰满与成熟，人们开始探索更自然的交互方式——自然用户界面(NUI)。

图形用户界面限制了用户需要使用键盘、鼠标等输入设备……而非接触式用户界面(TUI)是通过身体动作和手势命令计算，无需触摸键盘、鼠标或屏幕的过程，可以更自然的传递信息或与环境互动。

微软 HoloLens

2015年1月，微软发布MR头显-Microsoft HoloLens，引起了大家对手势交互的密切关注。

眼镜会追踪用户移动和视线，生成适当的虚拟对象，通过光线投射到用户眼中。因为设备知道用户方位，用户可以通过手势与虚拟3D对象交互。HoloLens的两种核心手势——AirTap空中点击和Home手势。

01

手势分类

伴随说话时手与胳膊的自发运动，打招呼与再见时的挥手动作，表示胜利、赞扬的标志性动作，或是语言系统中有明确意义的手势……在生活中，手势在不同场景中有不同的意义。

手势交互中，也会有不同类型的手势。

指示类 |用于指示物体或方向的手势；

信号类 |传达一些意义的手势或动作；

情景演绎类 |无对象执行的特定任务演示；

标志类 |用于传达特定对象或实体店信息的手势；

操控类 |手势可以在较短的反馈循环中引导运动。

02

手势识别

在技术层面，手势识别通过数学算法理解人的手势。大多使用传感器、相机、雷达等设备采集用户手势信息。

Cyber Touch II

可穿戴设备的手势识别是通过传感器直接获取手的空间姿势。

数据手套可以高精度检测手指弯曲、甚至可以向用户提供触觉反馈，这是对触觉的模拟。数据手套是用了沿着手背延伸的光缆，产生光脉冲，当手指弯曲时，光会通过小裂缝漏出，并记录下损耗，从而给出手部姿势的近似值。

微软Kinect

深度感知相机的手势识别：使用诸如结构化光或飞行时间相机之类的专用相机，可以生成在短范围内通过相机看到的景深的深度图，并使用此数据来近似表示所看到的景物的3d表示。

由于它们的近距离能力，这些可以有效地检测手势。

谷歌Soli

Project Soli雷达芯片，采用微型雷达来捕捉细微的手势动作，雷达主要利用无线电波的反射来进行成像。

计算机从天线发射无线电波，雷达反射波，通过对比发射波和反射波，就得到了物体的位置和速度，也就可以精细地捕捉物体的运动

03

非接触式交互

在非接触式交互中，通常分为直觉型、指令型、隐喻型的交互手势对应不同场景的应用。

1.直觉型（Intuition）

用户的手势动作对应界面中的动作，并与被操控物体的移动直接对应，手势特征即作用特征。其主要应用于虚拟现实、互动装置或游戏中。

微软 HoloLens

2.指令型（Manipulation）

用户将其既有的手势习惯延伸至对UI界面元素的控制，手势特征引发界面的变化。其主要应用于有交互界面的使用场景，包括与手机、智能电视、可穿戴设备、车内中控等界面的互动。

谷歌Soli

3.隐喻型（Metaphor）

用户与设备通过手势建立协议，手势的语意与所控制的功能相对应，手势特征并不直接对应作用。其主要应用于对智能产品和智能家居系统的控制。

04

问题与挑战

由于不存在通用手势语言，不同用户做出不同手势，手势识别难度大；

创建过多的手势，学习手势的成本高过原本传达的信息，复杂的交互也会消磨用户兴趣；

如何防止手势识别会干扰用户的自然行为？

基于以上及更深的研究，我们汇总了所有手势交互相关的内容，请看这里

一张图带你掌握手势交互的核心内容！

知识点包括:

手势的基础分类

手势识别的设备及相关原理

手势交互图库

手势交互技术的发展历程

…

留言区走心评论

即有机会可获得高清原图!

参考资料：

《Gesture Recognition Technology》

《Brave NUI World: Rise of touch-less gesture control》

《Interaction Methods for Smart Glasses》

《Gesture interaction in virtual reality》

《User Preference for Smart Glass Interaction》

《Beyond touch: designing effective gestural interactions》

Wiki百科

HoloLens官网