华中科技大学伍冬睿教授团队：生理计算中的对抗攻击与防御综述

生理计算使用人类的生理数据作为系统的实时输入。其包括或者与脑机接口、情感计算、自适应自动化、健康信息学以及基于生理信号的生物识别等领域高度重合。生理计算增加了从用户到计算机的通信带宽，但也易受各种类型的对抗攻击，其中攻击者故意操纵训练和/或测试样例来劫持机器学习算法的输出，可能导致用户困惑、受挫、受伤甚至死亡。然而，生理计算系统的脆弱性没有得到足够的重视，并且学界目前不存在针对生理计算领域的对抗攻击的综述。本文系统性综述了生理计算主要研究领域、不同类型的对抗攻击、其在生理计算上的应用以及相应的防御措施，从而填补了这一空白。希望本综述能吸引更多关于生理计算系统脆弱性的研究兴趣，更重要的是，能让更多人关注并投入使生理计算系统更加安全的防御策略的研究。

I 引言

键盘和鼠标、以及最近兴起的触摸屏，是用户向计算机发送命令的最常用手段。然而，它们传达的关于用户心理状态的信息，如认知、动机、情感等，非常少，而这些信息在智能技术的发展中也非常重要[1]。例如，在情感方面，人工智能先驱Marvin Minsky早在20世纪80年代就指出[2] "the question is not whether intelligent machines can have any emotions, but whether machines can be intelligent without emotions."

生理计算[3]是 "the use of human physiological data as system inputs in real time." 它通过使用从用户到计算机的额外信道[1]，拓展了人机交互的带宽，这是自适应和相互协作的人机共生所必需的。

常见的生理计算领域的生理数据包括头皮脑电图（EEG）、皮层脑电图（ECoG）、心电图（ECG）、眼电图（EOG）、肌电图（EMG）、眼球运动、血压（BP）、皮肤电活动（EDA）、呼吸（RSP）、皮肤温度等，这些都是人类的生理过程产生的数据记录。它们的典型测量位置如图1所示。

图1生理计算中的常见信号及其典型测量位置。

这些信号各种应用中得到了广泛的研究，包括临床诊断、以及用于健康监测和人机交互的可穿戴设备，如表I中的文献发表数量所示。最常被研究的前四种生理信号是血压、EEG、EOG和呼吸。血压和呼吸都是生命特征。多导联EEG已被广泛应用于医院心血管疾病的筛查和诊断，单导联EEG已被纳入数百万智能手表和腕带中，用于健康跟踪和房颤预警[4]。EEG 之所以受欢迎可能是因为它是脑机接口（BCI[5] 中最常用的输入信号，用于神经康复[6]、意识评估[7]、情感调节[8]、文本输入[9]、控制外部设备等[10]，以及作为某些临床实践中的黄金标准，例如癫痫诊断[11]。

生理信号通常是单通道或多通道的时间序列，如图2所示。在许多临床应用中，生理信号记录可能持续数小时、数天，甚至更长时间。例如，用于癫痫诊断的长期视频脑电图监测可能需要24小时，在重症监护病房（ICU）的心电图监测可能持续数天或数周。可穿戴式心电监测设备，如iRythm Zio Patch、AliveCor KardiaMobile、苹果手表、华为手环等，正在被数以百万计的用户使用。在这些过程中，大量的生理信号被收集。考虑到可穿戴设备的庞大用户群，手工标记这些信号是非常费力的， 甚至是不可能的。

图2 生理计算中常见信号的例子，以及它们的典型测量设备。血压通常通过听诊测量。ECG/HRV、ECoG、EDA、EEG、EMG和EOG是由神经和肌肉产生的生物电信号。眼动跟踪、PPG和SpO_2是生物光学信号。

机器学习[12]可自动分类测量到的生理信号，能缓解这一问题。其中，深度学习在脑电图分类方面表现突出[13]，如EEGNet[14]、DeepCNN[15]、ShallowCNN[15]和TIDNet[16]用于EEG分类，SeizureNet用于基于EEG的癫痫识别17，CNN用于ECG节律分类[18]，ECGNet用于基于EEG的精神压力监测[19]等。

然而，最近的研究表明，传统的机器学习和深度学习模型容易受到各种攻击[20-23]。例如，Sharif等[24]用专门设计的眼镜成功骗过了人脸识别系统。Brown等[25]生成可以放置在图像中的任何位置的对抗性块，导致分类器输出目标类。Chen等[26]将含太阳镜的污染样本注入训练集，从而使所有包含太阳镜的图片都会被分类为目标类，成功地在目标模型中创建了一个后门。Athalye等[27]合成了一个在每个视点都被归类为步枪的3D对抗性海龟。Eykholt等[28]将精心制作的涂鸦粘贴在道路标志上，并使模型将“停车”分类为“限速40”。Finlayson等[29][30]成功地实现对深度学习分类器跨越三个临床应用领域（眼底镜、胸部X光片和皮肤镜）的对抗攻击。Rahman等[31]对6种COVID-19相关应用进行了对抗性攻击，包括识别实验对象是否佩戴口罩、是否拥有基于深度学习的二维码作为免疫凭证、从CT扫描或X光图像中辨别COVID-19等。Ma等[32]表明，医学上深度学习模型比针对自然图像的模型更容易受到对抗攻击，但令人惊讶和幸运的是，医学上的对抗攻击也较容易检测。Kaissis等[33]指出，除了对抗性攻击，医学图像领域也存在各种各样其它的攻击手段。该团队呼吁通过安全、隐私保护和联邦机器学习来解决这些潜在的问题。

生理计算中的机器学习模型也不能幸免于对抗攻击[34-36]。然而，就我们所知，目前并不存在系统性地关于生理计算中的对抗攻击综述。本篇论文全面调研不同类型的对抗攻击及其在生理计算上的应用和可能的防御策略，填补了这一空白，对生理计算系统在实际生活中应用的安全性有重要意义。

需要强调的是，本文的重点是新兴的对抗性攻击和防御。其他类型的攻击和防御，例如网络安全，读者可以参考其他文献，例如[37]。

本文的其余部分结构如下：第II节介绍了生理计算中五个相关研究领域，第III节介绍了不同类别的对抗攻击，第IV节描述了针对生理计算系统的多种对抗攻击，第V节介绍了防御对抗攻击的不同方法及其在生理计算中的应用。最后，第VI节进行了总结和展望。

II 生理计算

由于生理计算实时使用人类生理数据作为系统输入，其包含、或者与这些领域高度重合：脑机接口（BCI）、情感计算、自适应自动化、健康信息学、基于生理信号的生物辨识技术。这五个领域虽然有不同的应用场景和目标，但都需要构建用于生理信号分类或回归的机器学习模型，因此都受到对抗性攻击的威胁。

A.脑机接口

BCI系统建立了大脑和外部设备（例如计算机或机器人）之间直接的通信通道[5]。头皮脑电和颅内脑电已广泛应用于BCI[12]。

图3给出了一个基于脑电的闭环脑机接口系统流程图。脑电信号采集后，通常通过包括时域滤波和空域滤波的信号处理来增强信噪比。机器学习的目标是理解脑电信号的含义，从而产生控制命令发送到外部设备。

图3 基于脑电图的BCI闭环系统流程图。

基于EEG的BCI存在三种典型范式：

1）运动意象（MI）[38]: 用户想象各种身体部位的运动时，其初级感觉运动区域的神经元活动会发生相应变化。例如，关于右手（左手）的MI对应着大脑左（右）半球的活动，关于脚的MI对应着大脑中部的神经元活动。这些MI可以被解码以控制外部设备，例如轮椅；或用于神经康复[6]，以恢复中风后手部的功能。

2）事件相关电位（ERP）[39][40]: ERP是EEG对罕见或预期的视觉、听觉或触觉刺激的相应的反应。最常用的ERP成员是P300 [41]，它是在罕见刺激后约300毫秒能观察到的EEG幅度的增加。

3） 稳态视觉诱发电位（SSVEP）[42]: SSVEP是大脑对重复性视觉刺激的电反应，通常在3.5至75Hz[43]之间。SSVEP可以在BCI拼写器中实现非常高的信息传输率[9]。

基于脑电的BCI拼写器可能是唯一适用于肌萎缩性侧索硬化症（ALS）患者与外界交流的非肌肉型通讯设备[44]。在癫痫治疗中，反应性神经刺激（RNS）[45]识别发作前的ECoG或颅内EEG模式，以及提供高频刺激脉冲来阻止癫痫发作，从而改善患者生活质量。

B.情感计算

情感计算 [47]是"computing that relates to, arises from, or deliberately influences emotion or other affective phenomena"。

情感是情感计算的核心。它可以由离散的类别表示，例如埃克曼的六种基本情绪[48]（愤怒、厌恶、恐惧、快乐、悲伤和惊讶），也可以用由唤醒和愉悦（或效价) [49]组成的2D空间中的连续值或者用由唤醒、愉悦（或效价）和支配组成的的3D空间中的连续值来表示[50]，如图4所示。

图4 埃克曼的六种基本情绪在由唤醒、愉悦和支配组成的3D空间中的分布。

多种输入可被用于情感计算，例如视频、文本、语音等。此外，生理信号也已被广泛使用[51]。在基于生理反馈的放松训练中[52]，EDA可用于检测用户的情感状态，在此基础上放松训练的应用可以为用户提供明确的反馈来学习如何改变他/她的生理活动，从而改善健康状况。在软件适配过程中[53]，图形界面、难度级别、音效和/或内容可以根据从各种生理信号中估计的用户实时情绪自动调整，使用户更有参与感。

C.自适应自动化

自适应自动化控制分配给操作员的任务的数量和/或类型，以将工作量保持在适当的水平（避免欠载和过载），从而提高人机系统的整体性能和安全性[54][55]。

Boeke等[54]将自适应自动化表示为控制系统，如图5所示。任务需求估计器将每个任务映射到认知需求。动态任务分配器根据操作员的可用认知能力和输入任务的认知需求将任务分配给操作员。可用认知能力估计器根据操作员的表现、生理或主观测量来估计其可用认知能力。

图5 表示为控制系统的自适应自动化 [54]。

在空中交通管理系统[55]中，操作员的EEG信号可被用来估计脑力负荷，并触发具体自适应自动化解决方案。这可以显著减少操作员在高负荷下的工作量，并提高任务执行性能。研究[56]也显示由眼动追踪测量的瞳孔直径和注视时间可以作为脑力负荷的指示器，从而触发自适应自动化。

Park和Zahabi[57]对假肢设备的认知工作负荷评估进行了评估，该评估可以使用生理、主观或任务绩效指标来实现。前者包括脑电、肌电、心电、EDA、呼吸、眼球跟踪等。他们发现，混合输入，如肌电+惯性测量单元（IMU）或肌电+肌力图（FMG），比单独使用EMG或EEG对认知的要求更低。更具体地说，EMG和IMU的结合可以提高假体的有效性、满意度和效率，并且EMG和FMG的组合比单独使用EMG具有更高的整体稳定性（低方差）。

D.健康信息学

健康信息学研究医疗领域中的信息、交流过程和系统[58]。

从AliveCor个人心电监护仪收集的单导联短心电图记录（9-60秒），可通过卷积神经网络（CNN）对正常窦性心律、房颤、替代心律或噪声进行分类，且其对前三类[4]的平均检测准确率为88\%。最近的一项研究[59]还表明，消费级智能手表（如苹果、Fitbit和Garmin设备）的心率数据可用于COVID-19症状预检测，有时可以提前9天或更早。

许多智能手表或腕带记录PPG信号，这是一种测量动脉血容量随每次心跳波动的指标[60]。它经常被用来监测心率，但也包含有关心脏、血管、呼吸和自主神经系统的信息。在临床上，可穿戴PPG可用于房颤（AF）的检测、阻塞性睡眠呼吸暂停的识别、传染病传播的监测、睡眠监测、心理应激评估、血管年龄评估、临床恶化识别、心血管风险预测、运动反应评估、败血症识别、心力衰竭识别和先兆子痫的识别[60]。例如，郭等[61]使用华为智能手表和腕带，提出了一种基于PPG的房颤发作预测的模型融合方法（图6}）。其敏感度为94.04%，特异度为96.35%，召回率为94.04%。

图6 一种基于PPG的房颤发作预测模型融合方法[61]。

E.基于生理信号的生物识别技术

基于生理信号的生物识别技术[62]将生理信号用于生物识别，例如，对一个人进行数字识别来授权访问系统、设备或数据。它们代表了从传统的“我们知道的东西”（例如，个人识别码）或“我们拥有的东西”（例如，通行卡）到“我们是什么”的范式转变[63]。

生物识别系统通常包括三种模式[63]：注册、身份识别和认证，如图7所示。注册模式将每个受试者的生理信号转换为特征模板并将其存储在数据库中。识别模式为传入的受试者特征模板找到可能的最佳匹配。身份验证模式验证受试者是否真的是他/她声称的人。

图7 生物特征识别中的注册、身份识别和认证[63]。

EEG[63], ECG [64], PPG[65]和多模态生理信号[66]已被用于用户识别和认证。这些信号具有通用性、持久性、活性检测、持续认证等优点。Thomas和Vinod[63]对基于脑电的生物识别系统进行了评估。他们发现闭眼或睁眼休息状态的脑电、运动想象、视觉诱发电位和心理任务（如数学运算、字母写作）都可以用于生物识别。Agrafioti等[64]全面介绍了心脏生物识别的理论、方法和应用，指出了心脏生物识别面临的挑战，包括时间依赖性、采集周期、隐私影响和心脏状况。Bianco和Napoletano[66]使用心率、呼吸频率、手掌EDA和鼻周排汗进行了多模式生物识别，获得了90.54%的TOP-1和99.69%的TOP-5准确率。

III 对抗攻击

对抗攻击产生各种形式的对抗扰动以愚弄机器学习模型，且这些对抗扰动可能难以被人眼或者计算机程序注意到。对抗攻击有不同的分类[22][23]，如图8所示。

图8 对抗攻击分类。

A.目标和非目标攻击

根据攻击结果，有两种类型的对抗攻击[23]: 目标攻击和非目标（无差别）攻击。

目标攻击迫使模型将特定的样例或特征空间的特定区域分类到特定的（通常是错误的）类别中。非目标攻击使模型对某些样例或特征空间区域进行错误分类，但不指定它们应该被错分到哪个类别。

例如，在一个3分类问题中，假设类别标签为A、B和C，那么，目标攻击可能会使所有输入都被分为A类。而非目标攻击会使A类输入被分为B类或C类，但不指定它必须是B或C类。只要分类类别不是A类，那么非目标攻击就是成功的。

B.白盒、黑盒和灰盒攻击

根据攻击者对目标模型的了解程度，可以有三种攻击类型[67]:

1)白盒攻击: 在这种攻击中，攻击者知道关于目标模型的所有信息，包括其架构和参数。这是最简单的攻击场景，但可以造成最大的伤害。它可能对应于攻击者是内部人员的情况，或者模型设计者评估模型受攻击时的最坏情况。常用的攻击方法有L-BFGS[20]、DeepFool[68]、C&W[69]、快速梯度符号法（FGSM）[21]、基本迭代法（BIM）[70]等。

2)黑盒攻击: 攻击者既不知道目标模型的结构也不知道目标模型的参数，但可以向模型提供输入并观察其输出。这是最现实的、也是最具挑战性的攻击场景。一个例子是，攻击者购买了一个商用BCI系统并试图攻击它。黑盒攻击是可以实现的，这是由于对抗样本的可迁移性[20]，即如果两个机器学习模型解决相同的任务，那么由一个机器学习模型生成的对抗样本可以很高的概率欺骗另一个机器学习模型。因此，在黑盒攻击[71]中，攻击者可以多次查询目标模型来构建训练集，利用其训练得到一个替代的机器学习模型，然后从替代模型中生成对抗样本用于攻击原始目标模型。

3)灰盒攻击: 假设攻击者知道关于目标模型的有限信息，例如，构建目标模型所使用的训练数据。在下一小节中将会介绍，灰盒攻击经常被用于数据污染攻击。

C.污染和逃逸攻击

根据对抗攻击针对的阶段，有两种类型的攻击：污染攻击和逃逸攻击，如图9所示。

污染攻击[72]发生在训练阶段，即通过添加污染样例至训练集，从而在机器学习模型中创建后门。在测试阶段，带有后门的输入可以被分为攻击者指定的类别。它们通常是白盒或灰盒攻击，通过数据注入实现，即将对抗样例添加到训练集[73]，或进行数据修改，例如通过修改训练数据的特性或标签来污染训练数据[74]。

逃逸攻击[21]发生在测试阶段，通过在正常测试样本中故意添加设计好的微小扰动来误导机器学习模型。它们通常是白盒或黑盒攻击。

图9 污染攻击和逃逸攻击。

IV 生理计算中的对抗攻击

大多数对抗攻击研究考虑计算机视觉的应用，其输入是2D图像。生理信号是连续的时间序列，与图像有很大不同。针对时间序列的对抗攻击研究相对较少[75-77]，针对生理信号的研究则更少，如表III所示。

A. BCI中的对抗性攻击

攻击BCI中的机器学习模型可能会造成严重的损害，从用户情绪受挫到严重受伤。例如，在癫痫治疗中，对反应性神经刺激RNS[45]中的癫痫识别算法的攻击可能会迅速耗尽其电池或使其完全失效，从而显著降低患者的生活质量。对抗攻击一个基于EEG的BCI拼写器可能会劫持用户的真实输入，从而使拼写器输出错误，导致用户的失望情绪或被误解。在基于BCI的司机瞌睡程度估计中[88]，对抗攻击可能使昏昏欲睡的司机被判别为警觉，增加了事故风险。

尽管迄今为止大多数关于BCI的研究都致力于使BCI更快、更准确，BCI领域的先驱们已经开始考虑其神经安全。例如，Ienca等[89]在2018年的《自然生物技术评论》中指出"greater safeguards are needed to address the personal safety, security and privacy risks arising from increasing adoption of neurotechnology in the consumer realm."。Judy Illes[90]在2019年的《自然生物技术焦点》中指出了关于大脑记录和刺激的广泛使用的三个担忧。第二个是"devices getting hacked and, by extension, behavior unillfully and unknowingly manipulated for nefarious purposes (although this could conceivably lead to checked bad behavior too)."。RAND公司2020年的一份报告[91]指出"hacking BCI capabilities could theoretically provide adversaries with direct pathways into the emotional and cognitive centers of operators' brains to sow confusion or emotional distress. In the extreme, adversary hacking into BCI devices that influence the motor cortex of human operators could theoretically send false directions or elicit unintended actions, such as friendly fire, although such influence may be technically difficult to achieve in the near term. Even an attack that broadly degraded gross motor skills could prove debilitating during combat."。事实上，如下所述，对基于 EEG 的 BCI 的对抗性攻击已经变得越来越现实。

2019年，Zhang和Wu[67]首先指出基于EEG的BCI中存在对抗样本，即BCI中的深度学习模型容易受到对抗攻击。在P300诱发电位检测、反馈相关负波检测和运动想象分类三种不同的BCI范式中，他们成功地对EEGNet[14]、DeepCNN和ShallowCNN[15]三种CNN分类器进行了白盒、灰盒和黑盒非目标逃逸攻击。基本思路如图10所示。其基本思想是在EEG信号处理和机器学习之间添加干扰模块，通过无监督FGSM优化生成的对抗样本。产生的对抗扰动幅值很小，肉眼无法察觉（如图11所示），但会显著降低分类精度。

图10 [67]提出的BCI逃逸攻击方法。在信号预处理和机器学习之间插入干扰模块，从而生成对抗样本。

图11 BCI中的逃逸攻击[67]

需要注意的是，干扰模块是可实现的，如研究[92]表明，BtleJuice（一个对蓝牙设备执行中间人攻击的框架）可以用来拦截基于EEG的消费级BCI系统的数据，修改它们，然后将它们重新发送回脑机接口系统。RAND报告[91]也指出"in a battlefield situation, these weak signals (electrical signals in BCIs) could potentially be jammed."。

Jiang等[78]重点研究了BCI分类问题中对深度学习模型的黑盒非目标逃逸攻击，其中攻击者训练一个替代模型来近似目标模型，然后从替代模型中生成对抗样本来攻击目标模型。学习一个好的替代模型对于黑盒攻击的成功至关重要，但它需要对目标模型进行大量的查询。Jiang等[78]提出了一种新的基于查询合成的主动学习框架，通过主动合成目标模型决策边界周围的EEG试次，提高查询效率，如图12所示。与原有的黑盒攻击方法[67]相比，基于主动学习的方法可以在相同的查询次数下提高攻击成功率，或者等价地，减少查询次数以达到预期的攻击性能。这是基于EEG的BCI的研究中第一个集成主动学习和对抗攻击的工作。

图12 基于查询合成的主动学习在黑盒逃逸攻击[78]中的应用。

就像大多数对抗攻击研究一样，以上两项研究只考虑了分类问题。文献中对回归问题的对抗攻击研究要少得多。Meng等[82]最早进行了针对BCI回归问题的白盒目标逃逸攻击。他们提出了两种方法，分别基于优化和梯度设计微小扰动，让回归输出产生一个预先确定的改变量。在两个BCI回归问题上的实验（基于EEG的驾驶员疲劳估计，和在精神运动警觉性任务中基于EEG的用户反应时间估计）验证了其有效性：这两种方法产生的EEG试次与原始试次非常接近，但可以显著改变BCI回归模型的输出。此外，这两种方法生成的对抗样本也是可迁移的，即在黑盒攻击中，从已知回归模型生成的对抗样本也可用于攻击一个未知的回归模型。

上述三种攻击策略有重要理论意义，但用于现实世界的BCI对抗攻击时存在一些限制：

1)试次的特异性: 即攻击者需要为不同的EEG试次产生不同的对抗扰动。

2)通道的特异性: 即攻击者需要对不同的脑电通道产生不同的对抗扰动。

3)非因果性: 即需要事先知道完整的EEG试次，以计算相应的对抗扰动。

4)同步性: 为了达到最好的攻击性能EEG，攻击者需要知晓试次确切的开始时间。

最近的一些研究试图克服这些限制。

Zhang等[34]对基于P300和稳态视觉诱发电位（SSVEP）的BCI拼写器（图13）进行了白盒目标逃逸攻击，表明对EEG试次的微小扰动会误导拼写器输出攻击者想要的任何字符，例如将输出从``Y"更改为``N"，反之亦然。其方法最显著的特点是在设计对抗扰动时明确考虑了因果关系，即扰动应在目标EEG试次开始前或一开始就产生，以便在实践中实时地将其添加到EEG试次中。为了实现这一点，他们从训练集构造了一个固定对抗扰动模板。因此，攻击者不需要知道测试EEG试次并专门计算扰动。他们的方法解决了试次特异性和非因果性约束，但不同的EEG通道仍然需要不同的扰动，并且还要求攻击者事先知道EEG试次的开始时间，以达到最佳的攻击性能，即仍然存在通道的特异性和同步性约束。

图13 P300拼写器和SSVEP拼写器的工作流程[34]。对于每个拼字器，用户观看刺激界面，专注于他/她想输入的字符，EEG信号被拼写器记录和分析。P300拼写器首先识别引出最大P300的行和列，然后在它们的交集处输出字母。SSVEP拼写器通过匹配用户脑电振荡频率与每个候选字母的闪烁频率，识别出输出字符。

Zhang等[34]考虑了对传统的、最常用的BCI拼写器流程进行目标攻击。该流程有单独的特征提取和分类步骤。Liu等[79]考虑了对基于EEG的BCI中端到端深度学习模型的目标和非目标白盒逃逸攻击，并提出了一种总损失最小化（TLM）的方法来生成通用对抗扰动（UAP）。实验结果表明，该方法在三种脑机接口范式（P300、反馈错误相关负性和运动想象）中的EEGNet、ShallowCNN和DeepCNN分类器上均有效。他们还验证了UAP在非目标灰盒逃逸攻击中的可迁移性。

为了进一步简化TLM-UAP的实现，Liu等[79]还考虑了更小的模板尺寸，即具有部分通道和时域样本的mini TLM-UAP，其可以添加到EEG试次的任何地方。mini TLM-UAPs更实用、更灵活，因为它们不需要攻击者知道脑电图通道的确切数量以及脑电图试次的确切长度和开始时间。Liu等[79]研究表明，一般情况下，所有mini TLM-UAPs均有效。然而，当使用的通道数量和/或模板长度减少时，它们的有效性降低，这是很容易理解的。这是第一个在基于EEG的BCI中对CNN分类器的通用对抗攻击研究，也是最早的基于优化的通用对抗扰动目标逃逸攻击研究。

总之，TLM-UAP方法[79]解决了试验特异性和非因果性约束，而mini TLM-UAP进一步缓解了通道特异性和同步性约束。

最近，Bian等[81]在基于SSVEP的BCI拼写器中对两种流行的免训练模型（典型相关分析和滤波器组典型相关分析）提出了方波逃逸攻击。如图14所示，攻击者只需要知道目标字符出现的频率即可；通过在任何输入SSVEP试次中添加该频率的方波，可以将输出字符更改为目标字符，且成功率几乎为 100%。所提出的攻击方法可以抵抗EEG预处理，对SSVEP试次长度具有鲁棒性，并且对方波信号的相位不敏感，即攻击者可以使用任何随机初始相位。这代表了迄今为止对基于SSVEP的BCI系统的最简单的逃逸攻击的实施。

图14 对SSVEP拼写器的方波逃逸攻击[81]。

以上研究都考虑逃逸攻击。Meng等[80]首次表明，基于EEG的BCI也可以进行污染攻击，如图15所示。他们提出了一个可物理实现的后门密钥（窄周期脉冲），可以在信号采集期间添加到正常的EEG信号中，并证明了其在黑盒目标污染攻击中的有效性，即攻击者不知道任何关于测试EEG试次的信息（包括其起始时间）并希望将其分到一个特定的类别。换句话说，该方法同时解决了试次特异性、通道特异性、因果性和同步性约束。据我们所知，这是迄今为止最实用的BCI攻击方法。

基于EEG的BCI中现有的对抗性攻击方法的总结对比如表IV所示。

图15 基于EEG的BCI[80]的污染攻击。在信号采集过程中，可以将窄周期脉冲添加到脑电试次中。

B. 健康信息学中的对抗攻击

在健康信息学中，对抗攻击也可能造成严重损害，甚至死亡。例如，对植入式复律除颤器中的机器学习算法进行对抗攻击，可能导致不必要的痛苦的电击，损害心脏组织，甚至更糟的会导致治疗中断和猝死[93]。

Han等[4]提出了目标和非目标的白盒逃逸攻击方法，以构建平滑的心电对抗样本，这些样本对经认证的医学专家和心脏电生理专家来说都是不可区分的，但可以成功地欺骗用于心律失常检测的CNN分类器。他们对AliveCor个人心电监护仪采集的单导联心电图进行房颤分类，获得了74%的攻击成功率（在对抗攻击后，最初正确分类的测试心电图中有74%被分配到不同的诊断）。这项研究表明，在将心电图用于医学机器学习模型之前，检查心电图是否发生了改变是很重要的。

Aminifar[83]通过通用对抗扰动研究了基于EEG的癫痫发作检测中的白盒目标逃逸攻击。通过解决一个优化问题来计算通用对抗扰动，并表明它们可以欺骗支持向量机分类器，隐蔽地将大多数癫痫样本错分类为非癫痫样本。

Newaz等[84]研究了基于机器学习的智能医疗系统的对抗攻击，包括10个生命体征，如脑电图、心电图、动脉血氧饱和度、呼吸、血压、血糖、血红蛋白等。他们进行了目标和非目标攻击，以及污染和逃逸攻击。对于逃逸攻击，他们也考虑了白盒和黑盒攻击。研究表明，对抗攻击会显著降低智能健康系统中四种不同分类器在检测疾病和正常活动方面的性能，这可能导致错误的治疗。

深度学习在健康信息学得到了广泛的应用，但通常需要大量的训练数据才能取得满意的性能。迁移学习[12]可以通过使用来自辅助域或任务的数据或机器学习模型来缓解这一需求。Wang等[85]利用预先训练的深度学习模型在图像和时间序列（如心电图）上研究了针对迁移学习的目标后门攻击。采用基于排序的神经元选择、自动编码器驱动的触发生成和防御感知的再训练三种优化策略生成后门并对深度神经网络进行再训练，以击败基于剪枝、基于微调/再训练和基于输入预处理的防御。他们证明了其在脑MRI图像分类和心电类型分类中的有效性。

C. 生物信息学中的对抗攻击

生理信号，如EEG、ECG和PPG，最近已被用于生物辨识中[62]。在这样的应用中，它们会受到表示攻击。在基于生理信号的呈现攻击中，攻击者试图用假生理信号[87]来欺骗生物传感器，使其被验证为来自特定的受害者用户。

Maiorana等[86]研究了基于脑电的生物识别系统对爬山攻击的脆弱性。他们假设攻击者可以访问生物识别系统的匹配分数，然后用来指导脑电模板的生成，直到身份验证成功。在对抗攻击术语中，这实际上是一种黑盒目标逃逸攻击：合成的脑电信号是对抗样本，受害者的身份是目标类。这是一个黑盒攻击，因为攻击者只能观察生物识别系统的输出，但对其他内容一无所知。

Eberz等[87]提出了一种离线心电生物识别表示攻击方法，如图16(a)所示。其基本思想是找到一个映射函数来变换攻击者记录的ECG试次，使它们类似于特定受害者的ECG试次。变换后的ECG试次可以用来欺骗ECG生物识别系统，以获得未经授权的访问。结果表明，攻击者的ECG试次可以从不同于记录受害者ECG试次的设备（即跨设备攻击）获得，并且可以有不同的方法将变换后的ECG试次呈现给受攻击的生物识别设备，最简单的方法是使用现成的音频播放器播放编码为.wav文件的ECG试次。

图16 (a) 离线心电图生物特征表示攻击; (b) 在线心电图生物特征表示攻击[94]。

与[86]不同，上述方法在对抗攻击术语中是一种灰盒目标逃逸攻击：攻击者的心电信号可以看作是正常样例，变换后的心电信号为对抗样本，受害者的身份为目标类。在图10中，映射函数起到干扰模块的作用。这是一种灰盒攻击，因为攻击者在设计映射函数时需要知道受害者心电图的特征分布。

Karimian等[36]提出了一种在线心电图生物识别表示攻击方法，如图16(b)所示。它的过程与图16(a)中的离线攻击非常相似，但是更简单，因为该方法只需要受害者的一个心电片段来计算映射函数，而且映射函数是线性的。Karimian[35]也提出了一种类似的表示攻击方法来攻击基于PPG的生物识别。同样，这些方法可以被视为灰盒目标逃逸攻击。

最近，Karim等[76]利用蒸馏模型上的对抗变换网络来攻击42个时间序列数据集上的两个分类模型（1-最近邻动态时间扭曲和完全卷积网络）。有三个关于人类心脏病或心肌梗塞分类的ECG数据集，以及两个关于日本片假名中风分类的EOG数据集。他们进行了白盒和黑盒非目标逃逸攻击。然而，他们没有考虑时间序列的因果关系，即整个测试试次都被用于产生对抗性扰动。因此，他们的方法可能只能离线使用。

D.讨论

虽然我们还没有在生理计算中发现关于情感计算和自适应自动化的对抗攻击研究，但这并不意味着在该领域不能进行对抗攻击。情感计算和自适应自动化中的机器学习模型与BCI中的模型并无区别；因此，BCI中的对抗攻击可以很容易地应用于情感计算和自适应自动化。特别是，Meng等[82]已经表明，在基于脑电的驾驶员疲劳估计和基于脑电的用户反应时间估计中，可以对回归模型进行攻击，而驾驶员疲劳和用户反应时间可能是自适应自动化的触发因素。

有趣的是，几乎所有上述对抗性攻击都针对于EEG和ECG，这是表I中第二和第三最流行的生理信号。最流行的生理信号血压不单独被攻击；连同 EEG、ECG 等，它在 [84]中只被考虑过一次。原因可能是血压仅由不经常测量的两个数字（收缩压和舒张压）组成，因此攻击它并不容易和有趣。同样的推理也可能适用于呼吸和心率。其他一些生理信号，例如ECoG和EMG，经常用于人机交互，可能会非常复杂和重要，足以吸引对抗攻击。

最后，检查目前关于时间序列的对抗攻击的少数研究[75-77]，我们发现它们都没有考虑时间序列的因果关系，即他们的方法利用了整个测试试次计算对抗扰动，因此它们只能离线使用。此外，它们对所有时间序列使用通用分类器，而在生理计算中，特别是 BCI中[12]，根据相应范式的神经学基础，每个范式都有自己的最佳特征提取和分类/回归方法。因此，这些通用时间序列攻击方法可能不能直接用于生理计算。

V 对抗攻击防御

常见的对抗攻击防御策略有[22][95]：

1) 数据修正: 通过对抗训练[20]、梯度隐藏[96]、可迁移性阻断[97]、 数据压缩[98]、数据随机化[99]等，对训练阶段的训练集或测试阶段的输入数据进行修改。

2)模型修正: 即直接修改目标模型以提高其鲁棒性。可以通过正则化[74]、防御蒸馏[100]、特征压缩[101]、使用深度收缩网络[102]或掩模层[103]等来实现。

3)辅助工具: 可能是附加的辅助机器学习模型，增强原始模型的鲁棒性，如对抗攻击检测模型[104]，或防御生成对抗网（defense-GAN）[105]、高级别表示引导降噪器[106]等。

由于生理计算中对抗攻击研究刚刚开始，对其防御策略的研究更少，如表V所示。

A. 对抗训练

对抗训练，即在正常和对抗样本上训练鲁棒的机器学习模型，可能是目前最流行的基于数据修正的对抗攻击防御方法。

Hussein等[107]提出了一种利用对抗训练增强深度学习模型的方法，以实现对癫痫发作的鲁棒的预测。尽管他们的目标是克服基于EEG的癫痫发作分类中的一些挑战，例如个体差异和发作前标记数据的缺乏，但该方法也可以用来防御对抗攻击。

他们首先利用现有的有限数量的带标签的脑电数据构建深度学习分类器，然后对分类器进行白盒攻击，获得对抗性样本，然后将这些样本与原始的带标签数据结合，对深度学习分类器进行再训练。在两个公共癫痫数据集上的实验表明，对抗训练提高了分类精度和分类器的鲁棒性。

最近，Karim等[76]对全卷积网络分类器进行了对抗训练，并测试了在42个时间序列数据集上的性能，包括三个关于心脏病或心肌梗塞分类的ECG数据集，以及两个关于日本片假名中风分类的EOG数据集。他们表明，即使是非常简单的对抗训练也可以提高全卷积网络分类器对黑盒和白盒非目标逃逸攻击的鲁棒性。

尽管对抗性训练可能是增强模型鲁棒性的最有效方法，但它在良性样本上的准确性可能会下降[111]。此外，它增加了3-30倍的计算成本[112]。

B.模型修正

基于正则化的模型修正可防御对抗攻击，通常也考虑优化目标函数过程中的模型安全性（鲁棒性）。

Sadeghi等[108]提出了一种调整分类器参数的分析框架，以同时确保其准确性和安全性。通过求解优化问题确定最优分类器参数，该参数既考虑了测试精度，又考虑了对抗攻击的鲁棒性。对于k近邻（kNN）分类器，需要优化的两个参数是近邻的数量和距离度量类型。基于EEG的眼状态（睁或闭）识别实验表明，该方法能够达到较高的分类精度，又对黑盒目标逃逸攻击有较高的鲁棒性。

模型修正方法通常是启发式的、基于经验的，没有理论保证。它们可能容易受到与模型无关的黑盒攻击[69]。

C.对抗检测

对抗检测使用一个单独的模块来检测是否存在对抗攻击，并采取相应的行动。最简单的方法是直接丢弃对抗样本。

Cai和Venkatasubramanian[110]提出了一种基于信号注入的心电图形态改变（逃逸攻击）检测方法。由于基于相同潜在生理过程（例如心脏过程）的多个生理信号本质上是相互关联的，因此其中任何一个信号的对抗改变都会产生与组中其他信号的不一致。由于心电图和动脉血压测量都是心脏过程的表征，所以后者可用于检测心电图的形态学改变。他们证明在检测健康受试者和患者的ECG形态学变化时，准确率超过90%。一个类似的想法[109]是利用它们与动脉血压和呼吸测量的相关性来检测心电图的时间变化。

Karimian等[36]通过评估心电信号特征是否与相应的心率变异性或PPG特征（脉冲传输时间和脉冲到达时间）匹配，提出了两种策略来保护心电生物特征认证系统不受欺骗。如果存在不匹配，则系统认为输入是假的，并拒绝它。这个想法实际上与Cai和Venkatasubramanian[110]的工作相似。

对抗检测在很大程度上依赖于对抗样本与良性样本之间的差异。然而，对抗例子不仅可以欺骗分类器，也可以欺骗检测器，所以对抗检测可能对自适应攻击无效[113]。

D.讨论

尽管已经有许多对抗攻击防御方法[23]，但没有一个能够抵御所有现有的攻击，更不用说将来肯定会发现的新的攻击。例如，Miller等[23]的实验表明，经过对抗训练的鲁棒深度神经网络可以适应小的扰动，但代价是对于良性输入的分类精度损失显著（约10%）。此外，随着攻击强度的增加，这种鲁棒的分类器逐渐失效。

正如[23]中提出的，一个有前途的新对抗防御方向可能是将鲁棒分类与检测相结合：鲁棒分类迫使能进行成功的攻击的对抗性扰动很大，这也同时使得攻击更容易被检测到。因此，结合使用鲁棒的分类和对抗性检测可能会胜过单独使用它们之一。

另一个想法是在生理计算中使用多模态输入。多模态信号经常用于提高生理计算的准确性，例如，同时使用EEG和EOG显著提高了情绪分类的准确性[114]。它们还可以用来增加对抗性攻击的鲁棒性，因为不同的生理信号通常需要不同的扰动，这增加了攻击的难度。然而，这也可能增加所得生理计算系统的复杂性和成本。因此，应该在准确性/稳健性和复杂性/成本之间进行谨慎的权衡。

VI 总结和展望

生理计算包括脑机接口、情感计算、自适应自动化、健康信息学和基于生理信号的生物辨识。它增加了用户与计算机之间的通信带宽，但也容易受到对抗攻击。本文对生理计算中的对抗攻击及其防御策略进行了全面的综述，以期引起对生理计算系统安全性的关注。

未来，该领域有前景的研究方向包括:

1)迁移学习被广泛应用于生理计算中[12]，利用其他用户[115]或任务[116]的数据来缓解训练数据短缺的问题，或者借用现有算法的参数或知识来热启动（深度）学习算法的训练[85]，如图17所示。然而，迁移学习对污染攻击尤其敏感[80][85]。在迁移学习中使用数据和模型之前，制定检查数据和模型完整性的策略是非常重要的。

图17 基于运动想象的BCI中的迁移学习流程[117]

2)对机器学习流程中的其他组件的对抗性攻击（图18显示了BCI的一个样例），包括信号处理、特征工程和分类/回归，以及相应的防御策略。到目前为止，在生理计算中所有的对抗攻击方法都只考虑了分类或回归模型，而没有考虑其他的组件，如信号处理和特征工程。已有研究表明，特征选择也易受数据污染攻击影响[72]，对抗性特征选择可以用来防御逃逸攻击[118]。

图18. 对BCI机器学习流水线的对抗性攻击。

3)生理计算中其他的攻击类型[95][119-122]，以及相应的防御策略，如图19所示。例如，Paoletti等[93]对Boston Scientific公司的植入式心律复律除颤器进行了参数干扰攻击，该除颤器使用判别树来检测心动过速发作，然后开始适当的治疗。他们对判别树的参数进行了轻微的修改，以达到攻击的有效性和隐匿性。这些攻击在生理计算中也是非常危险的，因此值得注意。

图19. 生理计算中的其他的攻击类型。

4)对于情感计算和自适应自动化应用的对抗攻击虽然还没有被研究过，但也是可能的和危险的。在脑机接口、健康信息学和生物辨识中，许多现有的攻击方法可以直接或稍加修改扩展到上述领域。然而，针对这些领域也可能有独特的攻击方法。如情感计算[50]中，情感往往用效价度、激活度和优势度的三维空间中的连续数字来表示，因此对情感计算中的回归模型对抗攻击应引起足够的重视。

5)对抗性攻击和防御的真实世界演示。如第IV-D节所述，当前对时间序列的对抗性攻击的研究没有考虑它们的因果关系，因此这些攻击可能不能用于最有意义的在线应用程序中。在过去几年中，针对BCI的对抗性攻击发展迅速，并且这些攻击在理论上变得非常容易执行。然而，仍然需要进行在真实世界的实验来证明它们的实用性，更重要的是，证明对抗性防御的必要性、可行性和好处。

6)生理计算系统的隐私。这篇综述中讨论的对抗性攻击集中在操纵系统输出；然而，隐私是生理计算中另一个非常重要的问题。例如，个人账户、个人偏好、身体状况和商业模式是可能从BCI中窃取的隐私信息[123]。防御这些隐私攻击对于生理计算系统的广泛应用也是至关重要的。

最后，我们需要强调的是，生理计算中对抗攻击研究的目标应该是发现其漏洞，然后找到解决方案，使其更加安全，而不仅仅是对其造成损害。

专家介绍

伍冬睿，2003年中国科学技术大学自动化学士，2006年新加坡国立大学电子与计算机工程硕士，2009年美国南加州大学电子工程博士。华中科技大学人工智能与自动化学院教授、博导，图像信息处理与智能控制教育部重点实验室副主任，国家海外青年高层次人才，湖北省杰青。主要研究方向为脑机接口、机器学习、智慧医疗等。发表论文180余篇，ESI高引8篇，谷歌学术总引用9300余次(H=50)，入选爱思唯尔2021中国高被引学者。授权国际专利5项，中国发明专利11项，转让4项。两种算法进入Matlab Fuzzy Logic Toolbox。获4个青年科学奖(2021中国自动化学会青年科学家奖，2020 USERN 形式科学奖，2017 IEEE系统、人和控制论学会首届青年科学家奖，2014 北美模糊信息处理学会首届青年科学家奖)，6个优秀论文奖(2021 IEEE 神经系统与康复工程汇刊最佳论文奖，2020 IEEE 机电一体化与自动化会议最佳论文奖，2014 IEEE 模糊系统汇刊最佳论文奖，2012 IEEE 计算智能学会最佳博士论文奖，等)，2019-2021连续三年世界机器人大赛--BCI脑控机器人大赛技术赛全国一等奖或特等奖，2022湖北青年五四奖章，等。现任IEEE SMC学会助理副主席、管理委员会委员和eNewsLetter主编，及3个IEEE汇刊副编。

伍冬睿教授主页：

http://faculty.hust.edu.cn/drwu/zh_CN/index.htm

仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！