关于事件相关电位P300应用于视频游戏的研究

事件相关电位 ERP

事件相关电位(ERP)是由大脑产生的与特定内部或外部事件(如刺激、反应、决策)相关的电位。它们可以提供关于广泛的认知和情感过程的信息。ERP为我们提供了对感觉和认知过程的洞察。事件相关电位很多，通常被称为ERP组件。

在最常见的ERP命名约定中，字母P(表示正)或N(表示负)用来表示组件的极性，后面的数字表示波形的峰值延迟。不过使用极性来标记组件是有问题的，因为任何给定的组件都将在头的一侧产生正电位，而在另一侧产生负电位，这也取决于参考电极的位置。

此外，ERP不能直接从脑电图信号的特定电位脉冲中读取，因为该脉冲可能代表也可能不代表特定的成分(如P300)，而可能是潜在并发电位的组合。ERP分析主要关注的是在特定的时间间隔内，在刺激出现后对信号的时域进行监控。

实验设计以及触发刺激的外观和行为是基于ERP的BCI的关键因素。特别是在游戏实现中，刺激的表现一直在稳定地变化。这些发展标志着在游戏环境中无缝融合刺激的趋势，目标是更直观和更有吸引力。特定实验条件下感兴趣的成分的存在和属性(振幅和潜伏期)可以通过脱机分析受试者内部和受试者之间的平均波形来验证。这种验证几乎没有论文讨论，这给复制和未来的研究提出了问题。ERP模式非常适合于许多可以发出离散命令的游戏内任务，例如街机风格的游戏或益智游戏。根据控制方案，这种模式可以集成到一个连续的控制范例中，例如赛车游戏或需要导航的游戏。虽然它的使用取决于游戏的设计,ERP模式最适合于实时控制，例如基于回合的游戏，在这些游戏中，发出命令之前的延迟在确定结果方面不起作用，尤其是在触发刺激无缝地嵌入到用户界面中。请参阅下表，可以查看具有ERP和基于诱发电位的BCI的论文列表。

P300 事件相关电位

P300代表在脑电图中观察到的阳性峰，代表刺激评估的认知过程。P300峰值的特征在于，对于不经常发生的刺激类别，它比经常发生的刺激类别大得多。在oddball范式中最常观察到这种情况，其中与先前刺激断开的刺激会比标准刺激引起更大的P300振幅。命令信号的检测过程要求分类器在不同训练阶段获得的脑电图信号的一组记录时间上进行训练。

尽管与其他模式相比，使用P300的游戏并不多，但P300确实提供了一些优势。考虑到它不需要用户训练，并且可以作为听觉或触觉刺激的响应而被唤起，因此它非常强大。然而，为了检测控制信号，用户必须首先通过适当的刺激来呈现，这可能会产生分散注意力，特别是在快节奏的游戏环境中。在一项研究中(Guger et al. 2009)评估了100名受试者的表现，结果显示，72.8%的参与者能够以100%的准确率拼写单词，而只有不到3%的参与者无法正确拼写任何字符。

该模式首先在实施拼写器应用程序的研究中使用，已经进行了大量研究，并已被确定为BCI交互的主要内容。 这种模式中的刺激通常排列在元素网格中，根据所讨论的游戏重新调整用途。 例如，在用于街机风格游戏的P300拼写器的2009年实现中，关卡被放置在28×18的网格上，角色通过参与将其移动到一个正方形。

Finke et al. 2009

P300也是引起注意力的有效指标，因为诱发反应的幅度与其相关，并且在一项研究中有效地用于注意力训练(见下图)。

Rohani,Puthusserypady 2015

该任务由一个类似于Farwell和Donchin提出的P300拼写器的4x4矩阵组成。初步研究得出结论，使用该系统进行多动症治疗具有巨大潜力。由于注意力和工作量是紧密联系在一起的，并且是持续关注对象表现的指标，因此P300被证明可用于评估游戏环境中的工作量，在该游戏环境中，用户承担着简单的驾驶任务。P300成分P3b显示反映了分配给指令处理的认知资源的枯竭。考虑到现代游戏的图形复杂性，建立P300模式对场景复杂性的依赖性是很重要的。Amaral等人解决了这个问题，作者发现P300即使在一次试验中也可以被检测到，并且在场景复杂性方面也很强大。

Animated 3D body,Amaral,2015

Animated 4 avatar environment,Amaral,2015

Bayliss等人证明了将其他交互设备与BCI结合在一起的可能性，作者使用了头戴式显示器（HMD）和方向盘控制器在虚拟环境中行驶。在那里以交通信号灯的形式呈现触发刺激，其中P300被检测为对变速信号灯的反应。在这里，作者证明了P300可以在沉浸式环境中有效唤起，并且即使有人从事平行运动任务（转动方向盘）会产生肌肉伪影，也可以利用它来进行控制。

在一篇关于P300在游戏中的使用的综述(Kaplan et al. 2013)中，作者强调了我们没有看到更多基于P300的游戏的一些潜在原因。其中一个原因是，用户期望对移动的持续控制，而P300只支持从预定义的命令集中进行选择，这是不可行的。另一个问题是，用户需要计算触发事件，这将分散用户对游戏条件的注意力。尽管存在这些困难，但BCI游戏仍有一些优秀的例子，例如一款名为《Brain Invaders》的用户友好型游戏。研究人员实现了一个街机枪战游戏，在这个游戏中，玩家通过关注特定的敌人来消灭他们。

Brain Invaders,Congedo et al. 2011

此外，需要注意的是分类器校准是无缝集成到游戏中的。在一项研究中，其中用户关注特定的自由浮动部分的图像需要组装，该研究表明，即使刺激在移动，P300的呈现方式仍然有效。多年来，P300被用作Second Life的控制模式，以及具有竞争力的Connect Four游戏证明了它可以被用于多种用途。

Edlinger,Guger,2011

Maby E,2012

参考文献

Rabie A. Ramadan, S. Refat, Marwa A. Elshahed,等. Basics of Brain Computer Interface[J]. Intelligent Systems Reference Library, 2015, 74:31-50.

Guger C , Daban S , Sellers E , et al. How many people are able to control a P300-based brain-computer interface (BCI)?[J]. Neuroscience Letters, 2009, 462:94-98.

Finke A , Lenhardt A , Ritter H . The MindGame: A P300-based brain–computer interface game[J]. Neural networks: the official journal of the International Neural Network Society, 2009, 22(9):1329-1333.

Amaral C P , Sim?Es M A , Castelo-Branco M S , et al. Neural Signals Evoked by Stimuli of Increasing Social Scene Complexity Are Detectable at the Single-Trial Level and Right Lateralized[J]. PLOS ONE, 2015, 10(3):e0121970-.

Congedo M et al (2011) “ Brain invaders”: a prototype of an open source P300-based video game working with the OpenVIBE platform. In: 5th international brain–computer interface conference

2011 (BCI 2011), pp 280–283

Günter Edlinger, Guger C . Social Environments, Mixed Communication and Goal-Oriented Control Application Using a Brain-Computer Interface[C]// Universal Access in Human-Computer Interaction. Users Diversity - 6th International Conference, UAHCI 2011, Held as Part of HCI International 2011, Orlando, FL, USA, July 9-14, 2011, Proceedings, Part II. Springer Berlin Heidelberg, 2011.

Maby E , Perrin M , Bertrand O , et al. BCI Could Make Old Two-Player Games Even More Fun: A Proof of Concept with “Connect Four”[J]. Advances in Human-Computer Interaction, 2012, 2012(6).