华中科技大学伍冬睿、舒凯团队提出基于脑磁图的中文言语脑机接口解码算法

脑机接口（Brain-Computer Interface，BCI) 是大脑和外部设备（计算机、机器人等）之间的直接交互通路，可用于研究、帮助、增强或修复人类的认知或感觉运动功能。

作为一种新兴的脑机接口范式，言语脑机接口能够将被试言语活动期间产生的大脑信号转化为文本、声音或面部表情输出，直接反应用户所听所想。相比于传统脑机接口范式，该范式有足够多的指令，具有自发产生、无需刺激、对被试友好等特点，可以更好地与外界进行沟通或实现设备控制。它的出现相当于为因神经损伤而失去语言能力的患者装上了“语言假肢”，为有严重语言障碍的患者带来了福音。

图1:言语脑机接口解码框架图

中文作为世界上最广泛使用的语言之一，使用人数达13亿以上。尽管言语BCI已有一段时间的发展，但中文言语BCI的研究依然较少，研究大都停留在音素水平或少量汉字的解码，难以完成基本交流需要。且当前大多研究都是基于侵入式脑机接口，需要进行外科植入，风险较大，术后护理繁琐。因此，基于无创中文脑机接口的解码方法亟待研究。脑磁图（Magnetoencephalography，MEG）记录了大脑头皮周围的磁场活动，是一种非侵入式脑机接口技术。与常用的脑电图（Electroencephalography，EEG）相比，MEG采集的信号时空分辨率较高，信号质量更稳定。

华中科技大学人工智能与自动化学院伍冬睿、同济医院舒凯团队面向无创中文言语脑机接口解码，构建了基于脑磁图的中文言语数据集，并提出了一种多模态知识辅助的解码框架（Multi-modality Assisted Speech Decoding，MASD）。MASD通过约束大脑模态和任务相关模态间的一致性，辅助脑信号特征提取器的训练，能够有效提升解码性能。

01

研究方法

本研究基于北京语言大学全球汉语中介语语料库、北京语言大学BCC语料库及复旦大学、斯坦福大学、加州大学等机构已有研究的语料设计经验选取了使用频率较高的48个包含汉语高频词汇和部分医护相关词汇作为语料库。研究共招募了9名母语为中文的被试（7名男性，2名女性），均为右利手，无神经系统病史及言语障碍。被试在实验开始前被告知实验的目的和过程，并签署了知情同意书。实验过程中，被试需要按照实验设计完成朗读任务，并尽可能保持注意力集中。

图2: 实验范式流程图

考虑到言语活动涉及发声和理解两个方面，本研究提出了一种多模态辅助的言语BCI解码框架，该算法利用任务相关的模态来辅助脑信号特征提取器的学习。训练过程中，综合考虑言语发声机制，将标签信息转化为文本和语音信息，利用对比学习来指导脑信号特征提取器的训练。测试环节只需要收集用户的脑信号，即可实现言语解码。

图3: 解码算法示意图

02

研究结果分析

脑区能量分布图显示，在任务态期间，脑区信号被有效激活。

图4: 脑区活动能量分布图

实验分析了不同脑区对解码性能的贡献程度。结果显示，与现有研究一致，主要负责声学语义处理的颞叶区和管理发音运动的感觉运动皮层，贡献了最大的解码性能。

表1: 不同脑区单词解码结果

针对多模态知识辅助解码框架MASD，本研究分别从字级别的解码、音素级别的解码进行了实验验证，实验结果普遍有显著性提升。

表2: 被试内单词解码

表3: 被试内音素解码

此外，针对数据量较少的情况，研究人员在训练过程中加入噪声进行数据增强，解码准确率有进一步提升，48分类解码平均准确率最高可达10.69%。

表4: 数据增强实验结果

图5展示了消融实验结果，与单模态解码效果相比，使用任务相关模态进行知识辅助均能有效提升解码性能，其中声学辅助对朗读任务影响较大，同时融合两种模态进行知识辅助能进一步提升解码准确率。图6解释了两种模态联合辅助，文本模态指导能有效缓解仅利用声学模态指导导致的对相似发音的混淆。

图5: 消融实验结果

图6: 特征分布和混淆矩阵可视化

03

结论展望

本研究收集的无创中文脑磁数据集为中文言语脑机接口的进一步发展提供了数据支持。综合考虑言语活动机制，本研究提出了多模态知识辅助解码框架MASD，实验验证了该算法在言语BCI分类任务上能显著提升解码性能，为未来更通用、更鲁棒的言语脑机接口系统提供了助力。

文章链接：

https://iopscience.iop.org/article/10.1088/1741-2552/ae1ea2

GitHub链接：https://github.com/ZhihongJia/MASD/tree/main.

仅用于学术分享，若侵权请留言，即时删侵！