重磅！公开基于“内心对话”的EEG脑机接口数据集，助力语音意念控制研究

脑电图是一种标准的、无创的测量脑电活动的方法。人工智能的最新进展让大脑模式的自动检测得到显著改进，允许越来越快、更可靠和可访问的脑-机接口。很多的范式已被用于实现人机交互。在过去的几年里，对解释和描述“内心声音”现象的兴趣有了广泛的增加。这种被称为“内在言语”的范式，提高了仅通过思考来执行命令的可能性，允许以一种“自然”的方式控制外部设备。由于缺乏公开可用的脑电图数据集，限制了内部语音识别新技术的发展。

本项研究给出了在此模式下采集的10个参与者数据集，以及另外两种相关模式下采集的136个通道数据集。本项工作的主要目的是为科学界提供一个开放访问的内部语音命令的多类脑电图数据库，可以用来更好地理解相关的大脑机制。

为了在用户和设备之间建立通信，已经使用了不同的范式被应用于脑机接口，比如P300、稳态视觉诱发电位(SSVP)和运动想象。虽然这些范式被应用于 BCI 系统中取得了很大进步，但对于某些应用来说，它们仍然不能带来有效的控制设备的方法。这主要是因为它们速度太慢或者需要用户付出很大的努力，从而限制了BCIs在现实生活和长期应用中的适用性。

而基于语音相关范式（无声、想象或内部语音）的 BCI 寻求解决上述限制的方法，因为它们为控制外部设备提供了一种更自然的方式。大多数语言模型和理论一致认为，语音涉及听觉处理、语义和句法处理以及运动规划和发音过程。尽管上述三种范式之间存在重大而明显的理论差异，但它们在文献中经常被不一致和误导地提及。在本文中，我们介绍了这三种范式中每一种范式的主要特征。

无声讲话是指正常讲话时产生的发音，但不发出声音。通常使用运动捕捉设备、成像技术或通过测量肌肉活动来测量，而不仅仅是通过大脑信号。此外，Cooney等人提出了一个类似的范式，称为“预期语音”，要求没有发声能力的参与者进行语音。

想象言语类似于无声言语，但它是在没有任何发音动作的情况下产生的，就像说话的运动想象一样。在这里，参与者必须感觉自己好像在讲话，主要集中在不同的发音手势。该范式被广泛应用于EEG、ECoG信号和脑磁图。在DaSalla等人中，元音/a/和/u/是经过仔细挑选的，因为它们有最不同的发音过程。要求的动作是:对于元音/a/，“想象张口和想象发声”;对于元音/u/，“想象圆唇和想象发声”。在Pressel等人中，要求的动作是:“想象这个发音，或者把给出的单词发音作为提示。”最后，Zhao等人所使用的类(提示)被选为具有不同发音，正如作者所提到的:“这些提示被选为保持鼻音、爆破音、元音以及浊音和清音的数量相对均匀”。

内在言语被定义为人以纯意义思维的内化过程，通常与自己内心“声音”的听觉意象相关联。它也被称为言语思维、内心对话、隐秘的自我谈话、内心独白、内心说话。不像想象的和无声的讲话，外部对话的音韵特征和话轮转换特征都没有保留。与运动系统中的大脑信号相比，语言处理似乎更加复杂，涉及不同皮层区域的神经网络，这些区域参与语音或语义分析、语音产生和其他过程。

为了提高对内部语音及其在真实BCI 系统中的应用的理解，我们构建了一个多语音相关的 BCI 数据集，在三种不同的条件下执行四项心理任务：内部语音、发音言语和视觉状态。该数据集将允许未来的用户探索内部语音是否激活与发音相似的机制，或者它是否更接近于可视化空间位置或运动。每个参与者在一天的记录中进行了 475 到 570 次试验，获得了一个包含超过 9 小时连续 EEG 数据记录的数据集，超过 5600 次试验。

数据采集

下图为参与者信息：

上图为实验设置。两台计算机 PC1 和 PC2 都位于采集室外。PC1 运行刺激协议，同时与 PC2 通信显示的每个提示。PC2 从采集系统接收采样的 EEG 数据，并使用从 PC1 接收到的信息标记事件。录制结束时，创建并保存了 a.bdf 文件。

为每个参与者安排记录日。

工作流程。在每个时间间隔内呈现给参与者的屏幕被绘制在图的顶部箭头上。相对时间和全局时间分别绘制在箭头上方和下方。

每个类别的全局平均试验。垂直的黑线对应区间边界，如上图所示。顶行：内部语音，中间行：发声语音。底行：可视化条件。

文件结构：

数据集地址：

https://openneuro.org/datasets/ds003626/versions/2.1.0

参考

Nieto, N., Peterson, V., Rufiner, H.L. et al. Thinking out loud, an open-access EEG-based BCI dataset for inner speech recognition. Sci Data 9, 52 (2022). https://doi.org/10.1038/s41597-022-01147-2