混合特征目标选择用于基于BCI的二维光标控制

原文：Long J, Li Y, Yu T, et al. Target selection with hybrid feature for BCI-based 2-D cursor controlJ. IEEE Transactions on biomedical engineering, 2011, 59(1): 132-140.

摘要

  为了控制显示器屏幕上的光标，用户通常需要依次执行两个任务。第一个任务是在显示器屏幕上移动光标到目标(称为二维或2-D光标移动),第二个任务是通过单击选择一个感兴趣的目标或不点击以拒绝一个不感兴趣的目标。在之前的研究中，我们在一个基于脑电图(EEG)的脑机接口(BCI)系统中实现了前一个功能，分别使用运动想象和P300电位来控制水平和垂直光标的运动。在本研究中，目标选择或拒绝功能是使用来自运动想象和P300电位的混合特征实现的。具体来说，为了选择感兴趣的目标，用户必须将注意力集中在一个闪烁的按钮上，以激发P300电位，同时保持运动想象的空闲状态。或者，用户在不注意任何按钮的情况下执行左右运动想象来拒绝目标。我们的数据分析和在线实验结果验证了该方法的有效性。该混合特征被证明比单独使用运动意象特征或P300特征更有效。11名受试者参加了我们的在线实验，实验涉及连续的二维光标移动和目标选择。每次试验的平均持续时间为18.19秒，目标选择的平均准确率为93.99%，每个目标选择或拒绝事件均在2秒内完成。

关键词： 混合特征、脑机接口(BCI)、脑电图(EEG)、光标、运动想象、P300电位。

1.引言

  脑机接口(BCIs)的目标是将大脑活动产生的信号转换成控制信号，并使用这些信号在不需要周围神经和肌肉的参与下来控制外部设备[1]。基于脑电(EEG)的脑机接口(BCIs)相对方便，价格低廉，因此引起了人们极大的关注[1-5]。基于EEG的BCIs经常使用的脑信号包括P300电位[6]、[7]、稳态视觉诱发电位(SSVEP)[8]、[9]、慢皮质电位[10]以及由运动图像产生的事件相关去同步/同步(ERD/ERS)[11]、[12]。

  基于EEG的脑机接口的一个重要问题是光标控制，其目标是将大脑信号映射到计算机光标的移动。BCI光标控制的可能应用之一是将计算机鼠标用于浏览网页。使用BCI鼠标时，用户必须按顺序执行两项任务。第一个任务是将光标移动到监视器屏幕上的目标(称为二维或2-D光标移动)，而第二个任务是单击感兴趣的目标(称为目标选择)。最近，已有研究表明，在基于EEG的BCIs中，可以使用各种脑信号，例如SSVEP[13-17]、P300电位[14]、[18]和ERD/ERS[19-21])来实现2-D或3-D光标移动。在[5]中，提出了一种脑机接口系统，在该系统中，用户通过调制各种脑电节律来执行连续的2-D光标移动控制。在该系统中，用户可以通过想象用他或她的右手抓住目标来执行目标选择。

  几项研究表明，在某些情况下，混合型BCIs可能比只使用一种大脑信号的BCI(称为单一模型BCI)产生更好的性能[22-24]。Allison等人[23，24]证明，通过组合多种大脑信号，例如运动想象和SSVEP，BCIs可以表现出更高的准确性，特别是对于表现不佳的用户。在我们之前的研究[22]中，我们提出了一种结合ERD/ERS和P300电位的混合脑-机接口，用于连续的2-D光标移动控制。具体地说，光标的水平和垂直移动分别和同时由运动想象和P300电位控制。这个系统有两个优点。首先，有两个独立的控制信号，分别基于运动想象和P300电位。其次，用户可以将光标从任意位置移动到任意目标位置。

  在本文中，我们继续我们在[22]中报道的二维光标移动控制研究，并提出了一种混合的基于任务的方法用于目标选择。将运动想象和P300结合成一个混合特征来实现目标选择。具体来说，一旦光标移动到目标，用户就会做出判断。如果目标是感兴趣的(称为“正确目标”，在本文中用绿色方块表示)，则指示用户将注意力集中在一个闪烁的按钮上，并保持运动想象的空闲状态以选择该目标。如果目标不是感兴趣的(称为“错误目标”，在本文中用蓝色方块表示)，用户必须拒绝该目标，想象他的左/右运动，且不关注任何按钮。这个EEG特征分为两类，有P300的运动想象的空闲状态和没有P300的运动想象，分别对应于两类目标。为了评估我们的方法，我们对11名受试者进行了两个实验。在第一个实验中，我们收集了数据进行离线分析，结果表明，上述混合特征比只涉及运动想象或P300电位的单一模型特征具有更好的分类性能。在第二个(在线)实验中，11名受试者需要按顺序进行2-D光标移动控制和目标选择或拒绝。2-D光标移动控制和目标选择的平均持续时间和平均准确率分别为18.19秒和92.84%。每次目标选择或拒绝事件在2秒内完成，平均准确率为93.99%。

  本文的其余部分组织如下。第二节介绍了数据采集系统、图形用户界面和控制机制、模型和算法等方法论。第三节给出了实验结果。第四节给出了进一步的数据分析和讨论。第五部分为结束语。

2.方法论

A.数据采集系统

  在我们的数据采集系统中，使用了Compumedics公司的NuAmps设备来记录头皮EEG信号。在录制过程中，用户坐在舒适的椅子上。每个用户都戴一个EEG帽LT 37，它可以产生电极测量到的信号，如图1所示。EEG信号与的参考电位在右耳。表示眼球运动的两个通道“HEOG”和“VEOG”被排除在外(这里没有显示)，剩下的30个通道全部用于信号处理。所有阻抗均保持在5kΩ以下。EEG信号被放大，以250Hz的速率采样，并在0.5至100 Hz的范围内进行带通滤波。

图1.电极的名称和分布

B.图形用户界面和控制机制

  本研究中使用的图形用户界面与[22]中使用的图形用户界面类似，如图2所示。该图形用户界面包括一个光标(圆圈)、一个目标(绿色或蓝色正方形)和8个闪烁按钮(3个“向上”按钮、3个“向下”按钮和2个“停止”按钮)。绿色方块表示要选择的目标，而蓝色方块表示要拒绝的目标。在每次试验中，光标和目标都出现在1166×721像素的矩形工作区内的随机位置。因此，初始光标和目标的位置以及它们之间的距离是随机选择的。目标正方形的两种可能颜色(即绿色和蓝色)也被随机选择。光标、目标和工作区的大小比例固定为0.00084：0.003：1。

图2.包括用于顺序2-D光标移动控制和目标选择的GUI，包括光标(圆圈)、目标(绿色或蓝色正方形)和8个闪烁按钮(“向上”、“向下”和“停止”)。

  在每次测试试验中，用户首先使用[22]中描述的方法将光标移动到目标，然后选择绿色目标或拒绝蓝色目标。在试验的2-D光标移动控制阶段，光标的水平和垂直移动分别受运动想象和P300电位的控制。如果用户想要向上移动光标，则他或她必须将焦点放在三个“向上”按钮中的一个按钮上。当系统检测到与该按钮对应的P300电位时，光标向上移动。类似地，如果用户想要向下移动光标，则他或她必须将焦点放在三个“向下”按钮中的一个按钮上。在这种情况下，检测到的P300电位对应于该按钮，并且光标向下移动。最后，如果他不想在垂直方向上移动光标，那么他可以将焦点放在两个“停止”按钮中的一个按钮上。一旦光标到达目标，光标将保持静止2秒。在此期间，用户根据目标的颜色选择或拒绝目标。在此阶段，即使所有按钮仍然像以前一样闪烁，目标选择中也只涉及左“停止”按钮的信号。如果目标是正确的(即绿色)，则需要用户通过注意左侧的“停止”按钮来选择它，以产生适当的P300电位，同时保持运动想象的空闲状态。当用户拒绝目标(即蓝色)时，他需要执行向左/向右移动的想象，同时忽略所有按钮。一旦通过我们的分类算法选择了目标，目标的颜色就会变成红色。如果光标在预定义的时间段内无法到达目标，则试验将自动终止。

  图3说明了测试试验中的事件顺序。首先，目标和光标同时出现在屏幕上的各种随机选择的位置。目标的颜色(即，绿色或蓝色)也是随机选择的。在4秒后的时间，8个按钮开始以随机顺序交替闪烁，并且光标开始在用户的控制下水平和垂直移动。当光移动到目标时，光标保持其位置2秒。然后，用户选择绿色目标或拒绝蓝色目标。如果选择了目标，它会在2秒内变为红色。如果没有，它会闪烁2秒而不会改变颜色。此操作将完成一次试验，下一次试验将在6秒间隔后开始。

图3.测试试验的事件序列。(a)光标和目标同时出现在各种随机选择的位置。目标的颜色(即，绿色或蓝色)也是随机选择的。(b)光标在用户的控制下朝向目标移动。(c)一旦光标位于目标上，它将保持静止2秒。(d)如果选择了目标，它将变为红色并闪烁2秒。否则，目标闪烁2秒而不改变颜色。(e)下一次实验前有6秒的间隔。

C.模型和算法

  首先，为了完整性，我们总结了[22]中提出的二维光标移动控制方法。其次，描述了目标选择的过程。

  1)二维光标移动控制:水平光标移动和垂直光标移动分别通过运动想象和P300电位进行控制。光标的位置每200毫秒更新一次。对于光标的水平移动，如果系统检测到右侧或左侧运动想象，则光标以与检测到的信号相关的速度分别向右侧或左侧移动。同时，用户通过关注八个闪烁按钮中的一个而忽略其他按钮来控制光标的垂直移动。

  为了确定光标的垂直移动方向，检测P300电位。给出了垂直运动控制模型

  其中，∆y(k)表示第k次更新时的垂直光标移动(更新间隔固定为200ms)， c(k)表示P300分类器的输出，v0为正速度常数。最初，我们将v0设置为10像素，不过这个值稍后可能会进行调整，以最大化每个被试的表现。在本实验中，输出c(k)的值可以从集合{1,−1,0}中选择，其中1表示“down”，-1表示“up”，0表示“stop”。具体来说，如果输出c(k)为0，则光标的垂直移动停止;如果输出为1或-1，则光标分别以每200毫秒10像素的速度向上或向下移动。

  产生输出c(K)的P300电位检测过程的算法如下。EEG信号首先在0.1-20 Hz范围内进行带通滤波，然后进行下采样。下一步，将来自通道的信号分割成epochs，每个epoch在按钮闪动后0到600ms之间形成一个矢量。然后，将系统中30个通道的特征向量串联起来，构造出每个epoch的特征向量。最后，将特征向量输入支持向量机算法进行分类。每个epoch随后被分配一个分数，该分数由支持向量机的输出计算得出。这个分数表示epoch包含P300信号的置信度。每个按钮至少有五个分数(对应于五次闪烁)相加，其中每个分数来自一轮。这里的一轮是一个完整的圆形，其中所有的按钮按随机顺序闪烁一次。然后求出8个总分(对应8个按钮)的最大值和第二个最大值。当最大值与第二个最大值之和的比值大于决策阈值(本文根据经验将其设置为1.3)时，选择得分最高的按钮。如果不满足阈值条件，则将轮次增加直到15轮。因此，如果在15轮内不满足阈值条件，则算法将判定在15轮之后得分最高的按钮已经出现P300电位。我们设置这个阈值是为了提高P300检测的准确性。例如，当用户没有注意到一个闪烁的按钮时，P300没有被检测到(没有给出P300检测的输出)。在这方法里，下一轮检测开始使用前四轮和当前轮的分数。

  光标的水平移动是由受试者的运动想象控制的。控制模型如下:

  其中k为光标位置更新的索引，∆x(k)为第k次更新时的水平光标移动情况，f(k)为SVM分类器的连续输出(得分)，a为用于调整光标水平移动的增益。变量b是一个截距，代表受试者先前SVM得分水平控制信号的均值;它被用来最小化方向偏差。关于用于确定增益和截距的方法的更多细节可以在[22]中找到。

  用于生成输出f(K)的脑力活动分类算法如下所示。首先，使用公共平均参考(CAR)滤波器对信号进行空间滤波，然后在特定µ节律频带(8-14 Hz)上进行带通滤波。其次，每200ms以1800ms的重叠提取公共空间模式(CSP)[25]。第三，将CSP特征输入支持向量机算法进行分类。该算法生成分数f(K)。对于每个用户，他们的CSP滤波器是由60个试次的引导运动想象任务采集的训练数据集来训练的。

  2)目标选择：一旦用户通过上述二维光标移动控制程序成功地将光标移动到目标，则需要选择或拒绝该目标。这里通过为每个试验构造一个混合特征向量并随后对该向量进行分类来实现目标选择。混合特征向量由P300特征和运动想象特征组成。具体地说，我们将有运动想象的特征(即左右手的运动想象)和没有P300的特征(即没有注意按钮)合并为一类，将有空闲运动想象的特征和有P300的特征合并为第二类。因此，在每个目标选择中，只有一个任务(即，运动想象或按钮注意)供用户执行。

  我们现在描述运动想象的特征提取。在此过程中，使用CAR滤波器对EEG信号进行空间滤波，然后在特定的µ节律频带(8-14 Hz)上进行带通滤波。接下来，使用CSP方法提取运动想象的特征[25]。通过使用分别对应于左手运动想象和右手运动想象的两类训练数据，得到CSP空间滤波器W。然后，我们使用此过滤器为每个试次提取CSP特征，如下所示：

  其中，fm表示特征向量， \overline{W} 是由 \overline{W} 的前三行和后三行组成的子矩阵，E是对应于一次试次的EEG数据矩阵。在等式(3)中 diag( \overline{W}EE^T \overline{W}^T) 是由矩阵 \overline{W}EE^T \overline{W}^T 的对角线上的所有项组成的向量，运算符log10(·)用于计算向量的每一项的对数。

  本研究包括三种心理活动(左手运动想象、右手运动想象和空闲状态)。我们将相应的特征向量分为两类，第一类包括来自运动想象(左手运动想象或右手运动想象)的向量，第二类包括来自空闲状态的向量。这些特征向量是通过使用两类数据(左手运动想象数据和右手运动想象数据)训练的CSP滤波器来获得的。因此，左手运动想象的特征向量与右手运动想象的特征向量是不同的。具体地说，我们比较了分别属于左手类和右手类的两个特征向量，分别表示为fm_1和fm_2。根据CSP[25]的理论，FM1的前三个条目通常大于后三个条目，而FM2的前三个条目通常小于后三个条目。如果使用W提取的特征向量属于空闲类别，则前三个条目和后三个条目之间通常没有显著差异，并且空闲状态的特征值可以用作基线。当我们执行区分运动想象和空闲状态的分类时，我们必须修改来自左手运动想象和右手运动想象的特征向量，以确保一致性。该修改如下执行。对于特征向量，如果后三个条目的绝对值之和大于前三个条目的绝对值之和，则该特征向量可能属于右手类。我们反转该特征向量的所有条目，以获得用于替换原始向量的新特征向量。通过这种方式，我们将左手和右手运动想象的特征向量合并为一类。

  P300特征提取过程类似于[22]、[26]中报告的过程。首先，在0.1至20 Hz的范围内对EEG信号进行滤波。然后，对于特定按钮的每次闪光，从每个通道的EEG信号中提取段(例如，按钮闪光之后从0ms到600ms的时段)。该段被降采样6倍，以获得来自每个闪烁的每个通道的数据矢量。对于特定按钮的每一次闪烁，通过分别连接来自四个通道CPZ、PZ、O1和O2的四个数据向量来获得特征向量。如果分类(P300检测)基于按钮的2次或更多次闪烁的数据，则使用由对应于这些闪烁的所有特征向量的平均值组成的向量作为特征向量。

  将运动想象的特征向量与P300的特征向量连接起来，得到每个试次的混合特征向量。

  如上所述，对于训练数据集中的每个试次，我们提取混合特征向量。如果试次对应于运动想象的空闲状态和注意按钮，则其标签设置为1。否则，其标签设置为-1。利用训练数据集的混合特征向量训练支持向量机分类器。对于测试试次，如果SVM分类器的输出大于零(即，当停留在运动想象的空闲状态并且集中在特定按钮上时)，则选择目标。否则，它将被拒绝(即，当执行左手/右手运动想象并且不注意任何按钮时)。因此，如果用户想要选择目标，他或她必须注意闪动按钮(而不是目标)来产生P300电位；否则，他需要执行运动想象，而不注意任何闪动按钮或目标。用户凝视的方向在我们的系统中没有任何影响。

  图4说明了上述目标选择的处理过程。

图4.目标选择的算法流程图

3.实验结果

  我们在这一部分介绍了两个实验：一个实验涉及离线数据分析，另一个实验适合在线测试。在每个实验中，数据来自11名健康志愿者(男10名，女1名)，年龄在22-32岁之间。在这些受试者中，一人有使用基于P300的脑机接口的经验，三人有使用基于运动想象的脑机接口的经验，五人有使用[22]中描述的混合式脑机接口进行二维光标移动控制的经验，其余两人以前没有使用脑机接口的经验。

A.离线数据分析

  在本小节中，我们将通过离线数据分析来评估我们的方法。收集了三个数据。每个试次数据收集的时间如图5所示；这里，试次之间的间隔是在0.5~1.5秒的范围内随机选择的。

图5.用于离线数据分析的单个实验试次的时序。在开始状态下(即在0-2.25秒的时间段内)，屏幕保持空白。从2.25秒到4秒，屏幕上会出现一个十字，以吸引用户的注意。从4秒到8秒，会出现与各种实验任务相对应的各种箭头

  对于第一个数据集，有三个不同的线索对应于三个任务(参见图5)：左箭头表示左手运动想象，右箭头表示右手运动想象，上箭头表示特定的按钮注意。当箭头出现在屏幕上时，8个按钮开始以随机顺序交替闪烁。每个按键强化100ms，连续两次按键闪烁间隔120ms。因此，在960毫秒的时间内出现一轮按钮闪烁，每一个试次会重复4轮。每个用户记录了两个session的数据，每个session包含3次运行。在每次运行中，随机排列10个向左、向右和向上的箭头。因此，每个session有90个试次。

  另外收集两个数据集用于比较，每个数据集都具有与第一个数据集相同的会话、运行和试验试次。第二个数据集仅使用运动想象的(仅限MI)收集。这里，每个试次具有与第一个数据集中使用的相同的时序(如上所示)。正如在混合任务中一样，有三个不同的提示；然而，向上箭头现在指示运动想象的空闲状态，而不注意任何按钮。另外两条提示是关于左手和右手运动想象的。第三个数据仅使用P300(仅P300)收集。在这项实验中，使用者被指示根据三种不同的箭头线索执行两项心理任务。左/右箭头表示P300的空闲状态(无按钮注意)，向上箭头表示按钮注意。

  使用第一个数据集，我们提取了一个混合特征，并将该特征分为有P300的运动想象的空闲状态和没有P300的运动想象。对于每一次试验的重复(即i= 1、2、3、4)，基于这次重复和之前特定按钮重复的数据，通过十倍交叉验证计算分类准确率，并在11名受试者中平均。这些结果如图6所示(标记为“混合”)。很明显，通过增加重复次数可以提高准确度。

  同样地，我们使用第二个数据集(仅限MI)来提取运动想象特征，并将这些特征分类为运动想象的空闲状态和运动想象状态。计算的平均精度如图6所示。第三个数据集(仅P300)用于提取P300特征，并将特征分类为P300或非P300。该数据集的计算平均精度也如图6所示。

图6.通过十倍交叉验证和11个受试者对三种情况(仅限MI、仅限P300和混合特征)计算的平均分类精度。误差条表示标准偏差

  对于每个重复，我们对在仅MI、仅P300和混合条件下获得的准确性结果进行了单向ANOVA分析，发现有显著差异(p<0.0003)。此外，对于最后三个重复中的每一个，基于Tukey-Kramer方法的多重比较分析表明，混合条件的准确率明显高于仅MI和仅P300条件(p<0.05)。对于第一次重复，仅MI条件和混合条件的准确度之间没有显著差异。因此，我们证明了混合特征对心理活动分类的有效性。

B.在线结果

  在我们的在线实验中，每个试次都包括两个由受试者执行的连续任务。第一个任务是将光标移动到目标上，第二个任务是根据目标的颜色(绿色表示选择，蓝色表示拒绝)选择或拒绝目标。这里使用[22]中描述的方法来控制2-D光标移动。对于目标选择，首先收集用于离线数据分析的数据集作为建立在线模型的训练数据集，包括CSP变换和支持向量机分类器。一个试次的事件顺序如图3所示。离线数据分析表明，混合特征在第二次重复时可以获得令人满意的分类性能。因此，对于该在线实验，对于所有受试者，目标选择的时间间隔被设置为2秒(即，由2次重复组成)。这里，受试者被指示进行一个80次试验的session。表I总结了11个受试者的在线实验结果。该表包括成功控制2-D光标移动和目标选择的平均时间和精度(即组合精度)，以及光标成功移动到目标的情况下的目标选择精度(即条件精度)。当计算组合精度时，如果2-D光标控制所需的时间超过60秒或在预定义的2秒的时间间隔内没有选择(拒绝)绿色(蓝色)目标，则试次计数为错误。在计算条件精度时，如果光标到达目标后2秒内未选择(拒绝)绿色(蓝色)目标，则计算为错误。2D光标移动和目标选择的平均时间分别为16.96秒和2s，平均组合准确率和平均条件准确率分别为92.84%和93.99%。我们发现，这里获得的平均准确率高于我们的离线数据分析获得的平均准确率，如图6所示。这一发现可能是因为离线数据分析的实验中没有反馈，而在线实验的每次实验中都存在反馈(目标颜色的变化)。

表一 . 在线实验结果(每个session80个试次)

4.数据分析与讨论

  如前几节所述，在这项研究中，两种类型的大脑模式被用于目标选择：运动想象和P300电位。为了评估受试者在目标选择控制过程中是否真的使用了P300和运动想象，我们进一步分析了受试者1的第一个数据集。这个数据集之前是用于离线分析的。

  图7A显示了两个选定的CSP过滤器(即，CSP变换矩阵的第一行和最后一行)的拓扑图及其在大脑中的相应激活模式。图中所示的两对CSP过滤器和激活模式分别对应于左手和右手运动想象。受试者通过左手/右手运动想象来拒绝蓝色(不正确的)目标。当CSP滤波器用于投影原始信号时，由CSP滤波器矩阵求逆得到的激活模式说明了假定源是如何投影到头皮的。有关CSP过滤器和相应激活模式的更多信息，参阅[25]。

  图7B显示了两个通道的EEG信号(感觉运动区的C3和C4)的功率谱。每个通道有三条频谱曲线，分别对应于左手运动想象、右手运动想象和空闲状态。展示了区分与右手和左手的运动想象相对应的mµ节律频带的大脑信号的能力。

  图7C显示了来自通道CPz的两条ERP曲线，它们对应于选择正确的目标(绿色)和拒绝错误的目标(蓝色)。在目标正确的情况下，用户注意特定的闪烁按钮(没有运动想象)，并诱发P300电位。在错误目标的情况下，用户执行运动想象(不注意特定的闪烁按钮)，并且不会诱发P300电位。

图7.(A)两对选定的CSP过滤器的头皮地形图及其对应的受试者1的激活模式，对应于左侧运动想象(左图)和右手运动想象(右图)。(B)受试者1的脑电通道C3(左侧分区)和C4(右侧分区)的三条功率谱曲线，分别对应于左侧运动想象(蓝线)、右侧运动想象(绿线)和空闲状态(红线)。(C)通道CPz的ERP曲线；一个包含P300，另一个不包含

  接下来，我们进行了一个在线实验，将我们的方法(基于混合特征/任务)与用于目标选择的单一模型运动图像脑机接口(BCI)进行比较。这项实验的过程与之前的在线实验类似，不同之处在于，用户被指示执行左手/右手运动图像，以根据目标的颜色选择或拒绝该目标。同样的11名受试者进行了这项在线实验，结果汇总在表II中。

表2.二维光标移动控制和目标选择的在线实验结果，其中目标选择是基于想象的左右手移动。(每个受试者的试验次数为80次)

  将表二所示结果与表一所示结果进行比较，我们可以得出两个结论。首先，在两个在线实验中，所有受试者完成一项任务的平均时间是相似的。出现这种相似性是因为2D光标移动控制策略和用于目标选择的时间段(固定为2秒)对于两个实验是相同的。第二，使用混合任务进行目标选择的平均准确率显著高于使用左右手运动想象获得的平均准确率(p<0.001，使用t检验)。这些结果可以通过考虑与运动想象相关的惯性来解释。具体地说，大脑皮层网络中的精神活动表现出一种惯性，这种惯性在多次重复的情况下可能是累积的[27]。例如，在[27]中指出，如果连续3次以上的试次指向同一侧，则参与者在随后的相反方向的试次中经常失败。在本实验中，在二维光标移动控制过程中，使用左手和右手运动想象来控制光标的水平移动。一旦光标到达目标，用户通常需要在左手和右手运动想象之间切换以选择或拒绝目标。例如，用户首先通过想象右手移动将光标向右移动，然后通过想象左手移动(在光标到达目标之后)选择正确的目标(绿色)。与运动想象相关的惯性通常会在2秒的目标选择时间内阻碍这种类型的交替。

  基于运动想象的感觉运动节奏(SMR)方法已被多项研究证明是一维、二维和三维光标运动控制的一种很有前途的方法[19-21]，[28]。在这些研究中，没有考虑目标选择。这种方法也被证明是快速二元选择的一种非常有效的手段[5]，[29]。在文献[5]中，使用SMR方法实现了二元目标选择(跟随2-D光标移动控制)，用户在1.5秒内有效地完成了选择任务，准确率在71−91%的范围内。考虑到SMR方法对快速二元选择的有效性，以及运动想象的惯性特性，我们建议在BCI光标控制中使用本研究描述的混合任务而不是单一的左/右手运动想象来进行目标选择或拒绝。

  单一模型P300特性也可用于目标选择。通过这种方法，可以将焦点放在一个闪烁的按钮上以选择目标，并将焦点放在另一个闪烁的按钮上以拒绝目标。或者，也可以只关注一个闪烁的按钮来选择目标，而不去注意任何按钮拒绝目标，就像这项研究一样。我们的在线数据分析结果表明，当重复次数较少(例如，少于4个)时，混合特征比单一模型P300特征具有更好的分类性能。此外，我们的在线实验结果显示，当使用混合特征/任务时，所有被试都可以在2秒内完成每个目标选择或拒绝过程。根据我们的经验，以及已发表的报告(例如，[30])，仅使用P300在这实验中很难获得令人满意的性能。

  在我们的脑-机接口系统中，用于目标选择或拒绝的混合特征可以被其他单一模型特征所取代，例如SSVEP。但是，出于以下两个原因，我们更喜欢混合特性。首先，根据我们的实验结果，我们用于目标选择的混合特征获得了与文献[31]中描述的基于SSVEP的脑-机接口相似的性能。其次，与在我们的脑-机接口系统中一样，只使用两种模式进行2-D光标移动控制和目标选择(例如，运动图像和P300)更为方便，而不是在系统中引入额外的模式。在将来的研究中，SSVEP可以作为我们系统中的第三种模式用于其他目的。

  在我们的系统中，30个通道用于信号处理；但是，可以减少通道的数量。例如，在目标选择阶段，仅使用4个通道(CPZ、PZ、O1和O2)来提取P300特征。此外，据报道，感觉运动区的两个通道可能足以进行运动图像分类[19]。

  在这项研究中，我们使用了三种不同目的的控制信号。具体地说，基于SMR的运动想象和P300分别用于控制光标的水平移动和垂直移动，并使用混合特征进行目标选择。然而，在当前实现中，控制信号中存在冗余。例如，在[20]中，基于运动想象生成三个几乎独立的信号用于三维光标控制；P300通常用于多对象选择。充分利用这些潜在的控制信号来提高系统的性能可能是有用的，这将作为未来研究的基础。

  对于BCI中的自定步速(异步)操作，已经提出了“大脑开关”的概念来控制任务的激活，并且已经应用运动想象来实现这种类型的开关[32]。由于我们的混合功能包括运动想象和用于目标选择或拒绝的P300的机制和性能，这种混合功能作为一种实现高精度和快速大脑切换的技术可能很有用。

5.结论

  作为我们先前研究的扩展，本研究成功地实现了一个基于EEG的混合脑机接口系统，该系统将运动想象和P300结合起来，用于顺序的二维光标移动控制和目标选择。本研究主要集中在这一过程的目标选择阶段。有两类混合特征：有P300和运动想象的空闲状态和没有P300的运动想象状态。第一类用于选择感兴趣的目标，第二类用于拒绝不感兴趣的目标。我们的离线实验数据分析和在线实验结果证明了该方法的有效性，特别是证明了混合特征的有效性。使用在线实验中的混合特征，用户在2秒内完成每个目标选择，平均准确率为93.99%。混合特征可用于实现对用户意图敏感的大脑切换。

参考文献

...