双脑协同RSVP目标检测

如今计算机视觉的目标检测发展的如火如荼，但是相比于人脑的强大认知能力依旧不容忽视。与计算机视觉相比，人的视觉可以理解图像的高级语义，从光照、姿态以及背景变化很大的场景中识别目标的物体。

为了追求目标检测中的高精确率以及召回率这类业务指标，以往的研究者们大都在单被试RSVP中通过设计实验范式使目标多次出现或是改进ERP的检测方法。但是单被试RSVP容易受到各种形如眨眼、静电干扰等的内部或外部干扰，从而导致被试在目标检测过程中错过目标；而使目标多次出现又增加了时间成本。因此本文引入了一种双被试RSVP实验范式来进行目标检测，该范式中目标只需单次出现。虽然同一任务下单被试目标检测相比于双被试在人力、设备方面消耗更少，对模型的要求相对较低，但值得注意的是，存在某些重要场景，如安防等，在进行目标检测时对其精确率，召回率等要求更高，需要确定所得的结果更具备可靠性，因而愿意消耗更多的资源来达成这个目的。

1

实验及模型设计

实验设计

本文采用两套EEG采集设备，同时对两位被试的脑电信号进行采集和处理。相比于经典的单人进行快速视觉呈现任务，本文中每次实验都有两个被试同时接受来自同一个屏幕的视觉刺激，并通过Neuroscan Synamps2 系统记录以国际10-20系统脑电极分布的64个电极的脑电数据，采样率为1000Hz。将八个被试分成四组进行了四次实验，每次实验有20个sessions，每个session中包含50次刺激呈现。

脑电信号处理框架

对于所获取的脑电信号以两种不同的方式进行处理后进行归并放入SVM进行分类。

其一，通过预训练的神经网络模块进行处理。对于放入神经网络模块的信号，对其按照时间维度进行切分。对于切分后的数据分别通过各自的LSTM模块进行特征提取，使得处于不同时间段的信息能够独立的进行处理。针对不同时间段的不同成分采用不一样的特征提取方式，避免一些在ERP检测中作用相对较小的时间段对作用相对较大的时间段造成干扰。

其二，该模型的另一模块采取朴素的方法进行特征提取。通过简单的滤波、通道选择、降采样到250Hz后，直接对两位被试的数据进行标准化操作并且平铺后作为特征输出。

本文中将两位被试的脑电信号通过两个模块进行特征提取。一方面通过预训练的神经网络模块完成了特征层的双脑融合。另一方面，为保留一些原始的特征，通过简单的降采样、标准化等操作完成了数据层的融合。最后将数据层融合所得数据与特征层融合特征一并放入SVM进行分类。

2

结果

选用了四组通道来对基于两位被试的模型进行观察。结果都是五折交叉验证所得的平均值，预处理器采用了1-40Hz滤波。

从table3可以看到，在多数情况下，采用双脑的EGG信号对目标进行检测效果要好于单脑的效果。值得注意的是，S3与S4这两位被试的EEG信号进行融合时，存在检测能力不如单人的情况（S4），由table3中的数据进行推测，使用S3的EEG信号进行目标检测的能力相对于S4较弱，因此在将S3与S4进行融合时引入了不少干扰信息，产生了双脑效果不如单脑的现象。

相比于单脑而言，双脑对于通道组合变化的敏感度相对较低。单脑模型在通道组合变化时其F1 Score变化较为剧烈，会有超过20%的波动;而双脑模型在通道组合变化时仅有10%左右的波动。

从table4可以注意到S3与S4进行融合时存在双脑效果不如单脑的情况，但是除此之外，双脑的效果普遍要好于单脑。随着截取时间的减少，双脑与单脑检测能力的变化与被试有着很大关联，在被试S1+S2与被试S5+S6中，其受截取时间的影响相对较小。而在其余两组被试中则影响较大，可能是由于被试个人之间差异引起的。

值得注意的是，融合较好的三组中，双脑采用0.6秒的截取时间，所具备的检测能力能够与单脑采用1秒截取时间相当，甚至超越。

这里剔除掉S3+S4组，将剩余几组的数据进行被试无关的统计。观察其F1S-core的变化，其F1-Score的总体分布在不同通道组合与不同截取时间下均具有良好表现。注意到，双脑模型的分布相比于单脑模型具有更小的标准差，即具备更好的稳定性。

3

讨论

总的来说，双脑融合相比单脑能够取得更加优异、稳定的结果。当然这需要两位被试具有相对协调的表现，如果一方表现较好，一方表现较差则会导致融合后效果较差。

对于双脑目标检测模型取得比单脑目标检测取得更好的效果，本文做出以下解释。

最根本的是信息量的增加。显然,双脑所包含的待识别对象的信息量多于单脑，更多的信息量有助于目标检测的进行。当然，事情总是有两面性的，单纯的冗余信息增加可能降低信噪比，从而对结果产生干扰。譬如将一个噪声较多的脑电信号与噪声较少的脑电信号进行融合，而本文模型没有能力区分二者的信噪比，而是将两者以相同的权重进行融合从而噪声较多的脑电信号对整个模型进行目标检测造成了干扰。

单脑容易受到来自内部或者外部的干扰。内部干扰包括被试不时的注意力涣散、眨眼等，都会导致单被试暂时丧失一定的检测能力。虽然实验者们会尽可能控制外部环境保持稳定，但是外部干扰依然难以完全避免。譬如皮肤出汗、静电干扰以及由于头部轻微移动导致电极与头皮之间的接触面积改变等。部分外部干扰与内部干扰的发生具备一定的偶然性，当双脑同时进行目标检测时，可以在一位被试受偶发因素的干扰检测能力下降时，还有另外一位具备较好检测能力的被试进行目标检测。

值得注意的是，本文总共采集了8位被试的脑电，样本量较小，还有许多潜在的信息有待挖掘。譬如什么样的被试适合合作，如果两位被试表现都比较差，在融合时又是什么结果？

4

结论

本文在采集的双脑目标检测数据上，将双脑目标检测模型与SVM、xDAWN、EEGNet这三个单脑目标检测模型进行比较，在两位被试都配合实验的前提下，通过双人协作来完成目标检测可以比单人达到更高的精确率与召回率。相比于单被试进行目标检测，使用HyperscanNet进行双脑目标检测的稳定性更好(更小的标准差)。当然本文的模型也存在一定的缺陷，表现在不能够很好的处理双脑融合过程中出现的单被试持续性保持较弱的检测能力，导致冗余信息对模型进行目标检测增加干扰的情况。

单位：杭州电子科技大学 脑机协同智能实验室

作者：有点大的青椒

论文详情：

Hangkui Zhang, Li Zhu, Senwei Xu, Jianting Cao, Wanzeng Kong,Two brains, one target: Design of a multi-level information fusion model based on dual-subject RSVP, Journal of Neuroscience Methods, Volume 363, 2021, 109346, ISSN 0165-0270,

https://doi.org/10.1016/j.jneumeth.2021.109346