步态识别技术

新兴的步态识别技术，神在哪里？

提到“生物识别技术”，大家首先想到的肯定是面部、指纹和虹膜识别等，这些对人体而言独一无二的特征成为了安全性很高的“活体密码”。然而，上述几类技术都需要在近距离情况下才能使用，同时在具有遮挡物的情况下也很难准确识别。面对这种局限性，步态识别以其难隐藏性和非接触性等特点从众多技术中脱颖而出，成为该领域的一匹“黑马”。

在电影《碟中谍5》中就出现了令人惊鸿一瞥的步态识别技术，这套让剧中的情报机构都无能为力的步态识别系统，究竟有何过人之处？又到底神在哪里？由于小编所在的团队具备较强的步态识别算法的开发能力，接下来就让小编带领大家来一览步态识别技术的奥秘。

什么是步态识别

步态识别是生物特征识别方法的一种，其基本目标是通过获取一段待检测行人正常行走的视频，与已经存储好的行人行走视频做对比，找出待检测行人的对应于数据库中人物的身份。由于行人在肌肉力量、肌腱和骨骼长度、骨骼密度、重心等方面有一定的差异，基于上述这些差异可以唯一地标注一个人，则利用这些特性能搭建人体运动模型或直接从人体轮廓里提取特征来实现步态识别。

与其他识别技术相比，步态识别的优势在于非接触性、非侵犯性、易于感知、难于隐藏和难于伪装。一般来说，基于1080p的摄像头，有效识别距离可达50米，识别速度在200ms以内；如果分辨率达到 4K 的高清配置，有效识别距离可扩展至100 米。此外，步态特征无需识别者特意配合就能进行采集。基于上述特点，步态识别在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值。

步态识别关键技术

步态识别的关键技术主要包括步态识别的关键技术主要包括步态采集、步态分割、特征提取、特征比对，具体任务流程如下图所示。

01步态采集

一般情况下，大多使用摄像机对行人的步态进行采集，使用设备包含 RGB 摄像机、红外摄像机及 Kinect 等。当前，绝大部分的步态数据集都是通过RGB 摄像机采集的，部分步态数据集通过采用红外摄像机来捕获图像，用于克服一些照明极差的环境，而Kinect 这类 3D 体感摄像机能直接输出人体关节位置及姿态，多用于公共场合人体目标易被遮挡的情况。

当前的研究大多都采用下图中的数据集。由于人在行走过程中可能处于各种不同的状态，受到诸如时间、服饰、行走路面、视角、携带物等因素的影响，现有的数据集为了保证能够对算法进行有效评估，引入了视角、衣着和携带物等协变量。

02步态分割

步态分割的作用为从捕获视频序列的图像里分割出人体的步态轮廓，目前常用的方法有帧间差分法、背景减除法和光流法。

• 帧间差分法

帧间差分法是一种通过对视频图像序列中相邻两帧做差分运算来获得运动目标轮廓的方法，它适用于存在多个运动目标和摄像机移动的情况。具体算法如下图所示。

• 背景减除法

背景减除法的核心思想是对背景图像进行建模，并把新捕获的图像帧减去背景图像，即获得目标步态区域，其中常用的背景建模方法主要分为非回归递推和回归递推。具体算法如下图所示。

• 光流法

光流法是通过借助光流特性检测出运动区域。光流可以表示出像素随时间在图像上的运动趋势，如下图所示。所以光流法可以锁定图像上的所有运动像素，确定目标运动区域，进而实现步态分割。

03特征提取与识别

步态特征提取是最为核心的一个环节，实现对步态样本实例的特征表示，并且直接影响最后的识别性能。最初常用的是基于单一轮廓特征和基于融合特征这两大类方法。但是，它们都需要手工提取步态特征，且提取的特征不完整。现在基本上都是采用深度学习 的方式进行步态特征提取，基于深度学习的算法可以自动提取步态特征，且提取的特征最为完整。其中最常用的方式是卷积神经网络。

在提取了步态特征之后，就要将待测序列的特征与样本特征进行比对完成最终的识别任务。在步态识别过程中，主要是采用分类器对提取出的步态特征进行识别。常用的步态识别分类器包括支持向量机、全连接层及K近邻方法等。

步态识别重要算法

GaitSet

笔者通过研究现有算法发现，2019年由复旦提出的GaitSet算法，使得步态识别技术有了重大的突破。此处仅作简要介绍，具体代码请读者自行下载。

在该算法中步态被视为由独立帧组成的图像序列，并使用名为GaitSet的新网络来学习图像序列中的身份信息。具体网络结构如下图所示。

首先，CNN用于独立地从每个轮廓中提取帧级特征。其次，名为Set Pooling的操作用于将帧级特征聚合成独立序列级特征。由于此操作应用于高级特征而不是原始轮廓，因此它可以比步态模板更好地保留空间和时间信息。最后，使用称为水平金字塔映射HPM的结构将序列级特征映射到更具辨别力的空间以获得最终表示。

实验表明，在正常步行条件下，该方法在CASIAB步态数据集上实现了平均95.0％的一次命中准确度，在OU-MVLP步态数据集上达到了87.1％的准确度。在各种复杂场景中，该模型也具有显着的鲁棒性。

GaitPart

在2020年，提出了一种新的基于时间部分的模型GaitPart，并得到了提高性能的两方面效果。一方面， 提出了卷积的一种新的应用——聚焦卷积层，以增强部分层次空间特征的细粒度学习；另一方面，提出了微动作捕捉模块(MCM)，在微动作捕捉模块中有多个并行的MCM，分别对应于预先定义的人体部位。其网络结构如下图所示。

在广泛使用的步态数据库CASIA-B和OU-MVLP上进行的大量实验表明，与GaitSet相比，在拥有类似骨干的情况下，GaitPart明显表现出更好的性能。在CASIA-B上进行了大量严格的消融实验，进一步证明了GaitPart内各部件的有效性。

步态识别的应用与发展

步态识别技术以其非接触性、非侵犯性、易于感知、难于隐藏和难于伪装等特点，能与现在广泛使用的人脸识别技术形成互补，应用范围非常广泛。

该技术未来极有可能会大面积铺开部署于公共安全领域，如机场、高铁站、校园、便利店等人流量大的场景，还可以对人群密度预测或进行超流量预警，如港口、 水厂、石油石化基地等重要基础设施，不再需要人类安防力量进行巡检、防护，可以实现自动非 法入侵告警，并跟踪锁定可疑人物，一如电影《碟中谍5》中展现的炫酷步态识别技术。步态识别技术将成为安保、反恐的一种强有力手段，促进打造智慧平安城市。

除了安保领域，步态识别技术还可以运用到医学领域。将来步态识别技术可以结合临床工作，实现快速检测病人的 步态异常点，通过步态异常确定对应的病况。除了用于诊断病况，步态识别技术还可以成为康复医学、矫形学的一种智能工具，协助医生快速分 析相关肌肉与骨骼的活动状况和制定一系列的康复、矫形方案。

当然，当前它在某些方面仍然存在较大的挑战，例如模型对被遮挡与自遮挡的稳健性差；特征信息易丢失；数据库规模小；单一步态识别技术无法满足部分特定场景的需求等。因此往后步态识别技术的发展趋势应从这些不足点出发，进行不断地改进与完善。

然而全球生物识别市场规模巨大，我们有理由相信步态识别技术的出现必然会推动金融、交通、运动和临床等行业领域更进一步发展， 实现更多元化的场景应用。同时随着步态识别技术的日趋成熟，计算机视觉技术也将会得到极大的推动和发展。

- END -

文案：李璠（华中科技大学管理学院本科三年级）

指导老师：秦虎老师（华中科技大学管理学院）

排版：程欣悦（荆楚理工学院本科四年级）

如对文中内容有疑问，欢迎交流。PS：部分资料来自网络。

如有需求，可以联系：

秦虎老师（华中科技大学管理学院：tigerqin1980@qq.com）

李璠（华中科技大学管理学院本科三年级：2580114839@qq.com） 程欣悦（荆楚理工学院本科四年级：1293900389@qq.com）