你知道脑机接口中的"后门"攻击吗？它真的有可能在现实中实现

点击上面"脑机接口社区"关注我们

更多技术干货第一时间送达

机器学习在脑机接口中的成功应用，使脑机接口得到了快速的发展。然而，对抗攻击的发现让我们不得不重新思考机器学习模型的安全性。这些潜在的危险性给基于机器学习的脑机接口的实际应用提出了不可逃避的难题。华中科技大学伍冬睿教授研究团队在最新的工作中提出了实际可实现的污染攻击方法。通过在训练样本中加入少量的污染样本，这些污染样本能够在模型训练后在模型内创建一个"后门"，具有后门钥匙的测试样本将被分类为攻击者指定的目标类别。该方法与以前的方法最不同的是，"后门"密钥不需要与EEG试验同步，因此非常易于实现。该项研究突显了基于EEG的BCI的关键安全问题。

随着脑机接口技术不断发展，关于脑机接口安全问题也逐渐受到关注。华中科技大学(HUST)伍冬睿教授领导研究团队对脑机接口安全进行了比较多的探索和研究。之前社区介绍过伍教授团队关于BCI拼写器的输出可能容易被微小的对抗性噪声操纵方面的研究《脑机接口拼写器是否真的安全？华中科技大学研究团队对此做了相关研究》。最近伍教授团队提出了实际可实现的污染攻击方法。

机器学习在脑机接口中的成功应用，使脑机接口得到了快速的发展。然而，对抗攻击的发现让我们不得不重新思考机器学习模型的安全性。这些潜在的危险性给基于机器学习的脑机接口的实际应用提出了不可逃避的难题。

对抗攻击可以分为两种：

1. 逃逸攻击(evasion attack)：在不改变模型的前提下，通过对测试样本进行轻微地改变，从而使得模型对改变后的样本产生错误的分类。
2. 污染攻击：通过在训练集中加入少量的污染样本，从而控制在污染的训练集中训练的模型的行为。

目前，已有不少工作去探究脑机接口中的安全问题。我们之前一些工作使用逃逸攻击[1,2]，对测试的EEG样本加入人眼无法察觉的微小的扰动，能够让模型对扰动后的EEG样本进行错误的分类，或者控制回归模型的预测值。这些工作在理论上讨论脑机接口的安全性有重要的意义，然而这些攻击在实际中其实是很难实现的，主要因为：

1. 这些攻击需要在EEG信号预处理和机器学习模型之间插入一个攻击模块去添加对抗扰动，而在实际系统中这两个模块往往被集成在同一块芯片中，攻击者很难达成目的。
2. 这些方法生成的对抗扰动是很复杂的，特别地，不同通道需要生成和添加不同的复杂对抗扰动噪声，这在实际中是很难操作的。
3. 攻击者在生成或者施加对抗扰动时需要提前获取目标样本的信息，如，为了让对抗扰动与EEG信号对齐，试次的起始时间是必需的，而在实际系统中攻击者是很难提前获取这些信息的。

这些局限性导致已有的对抗攻击对实际脑机接口系统带来的威胁并没有很大。伍冬睿教授研究小组在之前的工作[3]解决了上面的部分局限性，使脑机接口系统的逃逸攻击更加容易，但是施加对抗扰动时仍然需要知道EEG信号试次的起始时间。

研究人员在最新的工作中提出了实际可实现的污染攻击方法。通过在训练样本中加入少量的污染样本，这些污染样本能够在模型训练后在模型内创建一个“后门”，在测试阶段，如果测试样本中有“后门”的钥匙，则会被污染的模型分类到攻击者指定的类别。为了使攻击能够更好地在实际中实现，我们选择了特定的窄周期脉冲作为“后门”的钥匙，特别地，窄周期脉冲可以在EEG信号采集的时候通过外界干扰加入到EEG中。我们的攻击主要克服了以下几个挑战，使得其更容易在实际中实施：

1. 进行攻击的“后门”钥匙是很简单的，包括两点，生成的模式是简单的，以及在实际脑机接口系统中将钥匙加入到EEG数据中是简单的；
2. 攻击使用的钥匙对于不同的EEG信号都是通用的，只要EEG中包含“后门”钥匙，都能被污染后的模型分类到攻击者指定的类别；
3. 攻击的实施和钥匙的生成不依赖于被攻击的EEG信号的信息，甚至攻击者不需要获取到EEG信号的起始时间。

攻击的流程如下图所示：

研究人员表示提出的实际可实现的污染攻击在模拟的场景下成功地攻击了三种范式的脑机接口系统中不同的模型。实验表明经过污染的模型，会对绝大部分包含“后门”钥匙的测试样本按照攻击者指定的类别进行预测。实验还发现，只需要很少一部分的污染样本就能得到很高的进攻成功率，同时在污染的训练集中训练的模型与正常训练的模型在不包含“后门”钥匙的样本上的分类准确率十分地接近，这两点意味着论文中提出的攻击在实际应用中是很难被察觉的。

图3：污染之前(蓝色)和之后(红色)的P300数据集的EEG试验。

左：未经预处理的原始脑电图试验； 右：预处理后的脑电图试验。

另外，研究人员还测试了他们的攻击的参数鲁棒性，保证了在攻击时周期窄脉冲的参数发生较小的变化下还能取得较高的进攻成功率。

研究人员表示未来的工作会将这种攻击应用于实际的脑机接口系统，而不是在模拟的环境下，这将给脑机接口的应用带来极大的挑战。同时，他们也将研究具有对抗攻击鲁棒性的脑机接口系统。

关于伍教授团队的更多研究，可以查看：

伍冬睿教授：脑机接口中迁移学习的完整流程

华中科技大学伍冬睿教授：非侵入式脑机接口中的迁移学习综述（2016-2020）

脑机接口拼写器是否真的安全？华中科技大学研究团队对此做了相关研究

参考文献

[1] Zhang, X. & Wu, D. On the vulnerability of CNN classifiers in EEG-based BCIs. IEEE Trans. on Neural Systems and Rehabilitation Engineering 27, 814–825 (2019).

[2] Meng, L., Lin, C.-T., Jung, T. & Wu, D. White-box target attack for EEG-based BCI regression problems. In Proc. Int’l Conf. on Neural Information Processing, 476–488 (2019).

[3] Zhang, X. et al. Tiny noise, big mistakes: Adversarial perturbations induce errors in brain-computer interface spellers. National Science Review (2020). In press.

文章来源于网络，仅用于学术交流，不用于商业行为

若有侵权及疑问，请后台留言，管理员即时删侵！

长按关注我们

欢迎点个在看鼓励一下