计算机视觉与脑电数据等应用于驾驶员的疲劳状态检测综述

大家好！

今天Rose小哥分享一篇伍冬睿教授的关于驾驶员疲劳状态检测综述，主要包括非接触式例如计算机视觉以及接触式包括脑电等在驾驶员的疲劳状态检测！

伍老师在机器学习、脑机接口方向做了很多探索，包括集成学习方法、脑机接口安全问题、基于脑电的驾驶员疲劳状态检测等。关于伍老师的更多介绍可以查看《脑机名师系列第1期：华中科技大学伍冬睿教授》、《华中科技大学伍冬睿教授：非侵入式脑机接口中的迁移学习综述（2016-2020）》

随着人们生活水平的提高，汽车已经进入千家万户。根据国家统计局《2015年国民经济和社会发展统计公报》，2015年末全国民用汽车保有量达到17228万辆（包括三轮汽车和低速货车955万辆），其中私人汽车保有量14399万辆。在提供出行便利的同时，交通事故也成了驾驶员和行人生命安全的重要威胁。2015年全国交通事故死亡人数超过3万人，几乎是全年各类生产安全事故死亡总人数（66182人）的一半。因交通事故而受伤的人数更为庞大，由此造成的直接财产损失达每年数亿元。

图片来源于网络

疲劳驾驶是引发交通事故的一个重要因素，仅次于超速。疲劳驾驶在专业驾驶员群体中，特别是长途客运物流司机中，表现得尤其普遍。由于驾驶员坐姿和动作长时间固定重复，其生理机能和心理状态缓慢发生变化，导致注意力分散、打瞌睡、视野变窄、信息漏看、反应判断迟钝，出现驾驶操作失误或完全丧失驾驶能力，以至发生碰撞、冲出路面等严重交通事故。美国高速公路安全局2002年随机调查了4010名司机，发现37%的司机开车时打过瞌睡。根据美国高速公路安全局的数据，2003-2007年间美国共发生291049起车祸，其中46540起（16.0%)由疲劳驾驶和注意力不集中引起。根据中国公安部交通管理局的统计数据，中国2008年因疲劳驾驶导致的道路交通事故共2568起，其中死亡1353人，受伤3129人，造成的直接财产损失约5738万元。2008年高速公路共发生交通事故1203起，占事故总数的46.85%。高速公路交通事故的主要原因中疲劳驾驶位列第一，占所有高速公路交通事故起因的11.09%。因此，国务院《国家中长期科学和技术发展规划纲要(2006-2020年)》提出的重点领域及其优先主题中强调了交通运输安全与应急保障：“重点开发交通事故预防预警、应急处理技术，开发运输工具主动与被动安全技术，交通运输事故再现技术，交通应急反应系统和快速搜救等技术。”

疲劳驾驶检测和预警是减少交通事故的重要手段，也是国内外学术界和工业界的研究热点。各大汽车生产商、零部件供应商、专业公司、政府机构和科研院所纷纷参与其中。图1总结了目前采用的主要方法。这些方法可以分为两大类：

图 1: 疲劳驾驶检测的主要方法。

(1) 非接触式检测，即不需要驾驶员佩戴任何接触身体的传感器的检测方式。这种方式的优点是使用方便，不需要驾驶员有任何额外操作。

非接触式检测又可以细分为基于计算机视觉的检测方式和基于人车交互特性的检测方式：

（a）在基于计算机视觉的检测方式中，计算机视觉可以作用于驾驶员也可以作用于车辆本身。

当计算机视觉作用于驾驶员时，一般在前挡风玻璃之后会放置若干摄像头，实时拍摄驾驶员的头部。通过拍摄画面可以分析驾驶员的眨眼频率（驾驶员疲劳时眨眼频率一般会降低）、眼睑闭合度PERCLOS（1分钟内眼睑80%闭合的时间；驾驶员疲劳时眼睑闭合时间通常会增加）、眼球跟踪（观察驾驶员是否正视前方，是否主动检查后视镜和侧视镜）、瞳孔反应（驾驶员疲劳时瞳孔对光线变化的反应会变慢）、点头（驾驶员打 瞌睡时头通常会垂得更低，点头动作会增多）、打哈欠等动作，从而判断驾驶员是否疲劳。这种技术在丰田Lexus 2006-2010年间的几种车型中得到应用。其主要缺点是，拍摄画面效果受光线影响很大，而且驾驶员不能戴墨镜、口罩等遮挡物。另外，摄像头一直对着驾驶员拍摄会有隐私方面的问题，可能会让驾驶员感觉不舒服。更重要的是，驾驶员的这些头部动作也并不一定能准确反应疲劳状态。拿被广泛应用的眼睑闭合度检测法来说，研究发现驾驶员可以在眼睑正常睁开的情形下进入微睡眠状态。

利用计算机视觉来检测驾驶员疲劳状态

当计算机视觉作用于车辆本身时，一般在车头部放置若干摄像头，实时拍摄车辆在车道中的位置，从而获得车道偏移数据来判断驾驶员疲劳状态。这种方法的主要缺点是，拍摄画面效果受光线和天气影响很大，而且当路面没有分割线或分割线不清晰时就很难进行分析。但是，因为其实现起来仍然比其它疲劳检测方式容易，这种方法在奔驰（Attention Assist）、福特（Driver Alert）、沃尔沃（Driver Alert Control）等的某些车型中已经有所应用。

（b）在基于人车交互特性的检测方式中，计算机通过各种传感器获取行车过程中的各种参数，从而判断车辆是否超速、车距是否太近、驾驶员是否及时刹车、方向盘是否及时调整（驾驶员疲劳时调整方向盘的频率会降低）等，来进一步判断驾驶员是否疲劳。从方向盘动作判断驾驶员疲劳状态的方法曾经被尼桑、雷诺和大众采用过，但是效果并不十分理想，主要原因是受路况影响太大，比如在平直空旷的高速公路上，驾驶员可能并不需要调整方向盘，而疲劳检测系统就可能会误报。

(2) 接触式检测，即需要驾驶员佩戴接触身体的传感器来采集生理信号。这些生理信号包括脑电图（驾驶员瞌睡时8-13赫兹的alpha波活动减少，4-8赫兹的theta波活动增加）、心电图（驾驶员瞌睡时心率变化会变慢）、肌电图（肌电的频率随着疲劳的产生和疲劳程度的加深呈现下降趋势，肌电的幅值随疲劳程度增加而增大）、眼电图（检测眼球运动方向和速度）、呼吸、皮肤电传导等。接触式检测的优点是，生理信号理论上是更加准确可靠的疲劳指示，因为它们直接来自人体。另外，生理信号可以在驾驶员疲劳之前就进行预测，而非接触式方法都是根据驾驶员疲劳之后的表现进行判断，所以基于生理信号的疲劳检测可能会提供更充分的预警时间。这种方式的缺点是，驾驶员的身体动作会使测量信号伪迹和噪声增加，降低检测准确度。所以，需要使用各种先进的信号处理滤波算法来去除伪迹和噪声，提高信噪比。另外，驾驶员戴上这些传感器后可能会感觉不舒服，从而有抵触心理，不愿意使用。为了缓解这个问题，目前越来越多的方案开始采用无线技术把生理信号传输到手机或其他移动设备进行处理。更进一步地，有些方案把传感器植入方向盘或者驾驶员座椅。

接触式检测

综上所述，目前有很多种手段进行疲劳驾驶检测。当前研究和应用的主要困难是，尽管有多种数据可以作为输入信号，但是每一种信号都无法单独可靠地判断驾驶员的疲劳状态。未来的研究方向可以从以下三个角度考虑：

1）对疲劳特征进一步挖掘，用先进的信号处理方法提取每种输入信号中最能表征疲劳的特征参数；

2）采用信号融合的办法，结合多个疲劳特征参数进行检测，克服光照、遮挡、天气、路标等的影响，提高检测的实时性、准确度和鲁棒性，降低误报率；

3）检测方法应该具有自适应在线学习功能，能根据每个驾驶员的个性化数据进行自训练优化，克服个体差异，得到最适合每个驾驶员的个性化检测模型。

基于无创式脑机接口的疲劳驾驶检测：

相对于其他生理信号和检测方式，脑电是大脑疲劳状态最直观的指示信号。所以，脑电信号一直被誉为检测疲劳的金标准，基于脑电的驾驶员疲劳检测预警方法理论上对于预防交通事故更可靠。目前国内外学术界和工业界已经进行了一些验证性的研究。

法国Domaine大学的Picot等提出了一种利用单通道脑电信号的alpha功 率带（8-12Hz）来在线检测疲劳状态的方法，并且不需要对每个驾驶员进行个性化校准。该方法可以达到85% 的正确检测率，但是有20%的误报率。新加坡南洋理工大学的Foong等的研究进一步证实脑电图的功率带可以用来估计驾驶员疲劳状态，并在所有4个驾驶员的脑电图中都观察到了beta功率带（12- 35Hz）在疲劳前后的明显变化。韩国三星公司的Hwang等的研究证明通过放置于耳道中的脑电电极采集的脑电信号也可以可靠地对疲劳状态进行分类。新加坡信息通信研究所的San和澳大利亚悉尼科技大学的Ling等用深度学习来提取脑电图特征，然后输入支持向量机进行疲劳状态分类，达到73.29%的正确率。

北京理工大学的吴平东等用脑电图的平均功率谱方法和非线性的关联维数方法对驾驶员疲劳状态进行了评价。北京航空航天大学的胡淑燕和清华大学的郑钢铁基于脑电信号频谱用朴素贝叶斯分类法建立了驾驶员疲劳监测模型，能监测出驾驶员84%的疲劳状态。东北大学的王宏等的研究表明，在真实驾驶环境下，通过计算长途客车驾驶员的脑电疲劳状态指标F值可以有效地检测驾驶员疲劳状态变化，也证实了小波熵值是驾驶疲劳脑电特征提取的有效方法。北京工业大学的赵晓华等选取表征脑电信号复杂程度的样本熵作为驾驶疲劳判断指标，达到95%的准确率。东北大学的王斐和华南理工大学的王惜慧等将脑电图识别与车辆操纵特性相结合来检测驾驶员的疲劳状态，分类准确率可达94.259%。上海海事大学的谢宏等用粗糙集理论的离散化算法对脑电通道和信号特征量进行选择，选用支持向量机作为疲劳驾驶识别模型，达到较高识别率。

华中科技大学伍冬睿教授和合作者近几年也在基于无创式脑机接口和机器学习的驾驶员疲劳状态检测方面做了大量的原创性工作。2015年提出了模型融合域适应方法，只需少量校准脑电数据即可准确地在线估计驾驶员的疲劳状态。2016年解决了基于脑电的驾驶员疲劳状态在线估计的一个重要问题：如何处理驾驶员之间的个体差异，减少新用户所需要的校准脑电数据数量。通过模糊集把加权域适应迁移学习方法从分类问题推广到回归问题，所提出的OwARR方法相对于历史文献中的其他方法能大大提高在线疲劳估计的准确度。2016年也提出了增强型批模式主动学习方法来提高离线场景中从脑电数据估计驾驶员疲劳程度的准确度，和谱元学习算法（一种新的集成学习算法）来融合多个回归模型，从而达到更好的估计效果。使用该方法，有望实现完全不需提前校准的脑机接口系统。

尽管基于无创式脑机接口的疲劳驾驶检测方法的有效性已经在世界各地的实验室中得到初步验证，但是仍然需要更加深入的研究来进一步提高其易用性和可靠性。

目前研究和应用的主要方向是：

1）硬件方面：脑电帽相对其他传感器体积更大，佩戴不太方便。但是目前越来越多的厂家推出了无线干电极脑电帽，易用性相对于之前的有线湿电极脑电帽大大提高。同时，在某些特种场景中，比如战场和重型机械操作中，驾驶员按规定必须佩戴钢盔或安全帽。在里面加入少量脑电电极对这些设备的易用性影响不大，而如果能显著提高驾驶员安全性的话，还是有可能被广泛接受的。在这方面最有代表性的产品是澳大利亚的SmartCap公司生产的智能帽，内置脑电电极，戴上后可实时采集驾驶员（尤其是采矿、物流、客运等专业司机）的脑电信号进行分析，从而判断驾驶员的疲劳状态。

2） 算法方面：我们需要更有效的信号处理算法来去除伪迹、降低噪声、提高信噪比，更合适的特征提取算法来获得鲁棒性和通用性更好的特征，以及更先进的机器学习算法来提高检测准确度、降低误报率，同时具备在线自学习功能，能根据不同驾驶员和不同场景来自动调整算法参数，始终保持在最优工作状态。黎曼几何和深度学习将在这个方向发挥重要作用。黎曼几何方法可以提取鲁棒性更好的脑电特征。深度学习已经在时间序列信号（如语音）和图像处理等领域显示了具大的优越性，而脑电图既可以看成时间序列信号也可以看作图像，所以我们也预期深度学习会为无创式脑机接口的研究带来重大突破。