天津大学神经工程团队司霄鹏课题组提出基于fNIRS和DBJNet的跨被试情绪识别脑机接口

你知道机器人也会像人一样会愤怒吗？

这是哥伦比亚工程创新机器实验室的研究人员创造的机器人EVA，它拥有柔软而富有表情的脸，可以通过模仿人类表情来表示情绪。上图即为它模仿人类愤怒的表情。

实际上愤怒只是人类其中一种情绪。在20世纪70年代，心理学家保罗·埃克曼(Paul Eckman)确定了六种基本情绪：快乐、悲伤、厌恶、恐惧、惊讶和愤怒。后来，他扩大了基本情绪清单，包括骄傲、羞耻、尴尬和兴奋等等。

事实上机器人不只能通过表情来表达情绪，自ChatGPT发布之后，有研究人员将ChatGPT和机器人结合后，机器人还能通过语言表达来展示情绪。

机器人公司 Engineered Arts将机器人Ameca接入GPT3，实现机器人与工程师自由对话

如今，机器人表达情绪或情感可以说是轻而易举，但它让机器像人类一样识别情绪存在非常大的挑战。

情绪识别是人机交互的重要组成部分，也是理解被试情感的第一步。它具有广阔的应用前景，特别是在精神疾病的诊断和治疗方面，是脑机交互领域的重要研究课题之一。

过去的情绪识别方法主要基于问卷、面部表情、语音等信息。这些方法存在主观性强、易受干扰等问题。如今随着脑成像技术的发展与成熟，研究人员可以利用这些技术无创地检测情绪诱发过程中的神经活动信号，允许通过神经活动特征识别情绪类别。其中，functional near-infrared spectroscopy（fNIRS）作为一种新颖的非侵式神经成像技术，不仅不易受运动伪迹干扰，而且具备较高的空间分辨率，在情绪识别研究中具备独特的优势。然而，目前基于fNRIS的跨被试情绪识别研究仍然比较匮乏。

为此，天津大学医学部神经工程团队司霄鹏课题组设计了一个以中文视频作为自然刺激材料的情绪诱发实验，并构建了功能近红外fNIRS情绪识别数据库，探索基于fNIRS的跨被试情绪识别新型BCI。团队首次引入深度学习技术，构建双分支联合网络(DBJNet)，该模型能够推广到新的受试者并展现出优异的跨被试情绪识别性能，该研究为基于fNIRS的新型情绪识别脑机接口发展提供了新的思路。其中，天津大学医工院硕士研究生黄河为该论文的共同第一作者，天津大学医学部神经工程团队领导明东教授为该论文的共同通讯作者。该项研究被发表在Cyborg and Bionic Systems 《类生命系统》期刊，该期刊由北京理工大学和美国科学促进/ Science 共同打造的综合性高水平国际化英文科技期刊，入选“中国科技期刊卓越行动计划高起点新刊”项目。该工作受到国家重点研发计划2021YFF1200600、国家自然科学基金委杰青81925020及青年基金61906132、天津市项目+团队重点培养计划XC202020等项目资助。

# 实验设计

研究人员在本研究中共招募18名健康受试者(平均年龄为 23.4岁)参与视频情绪诱发实验，通过采用视频刺激诱导被试情绪。刺激情绪包括积极情绪(快乐)、中性情绪和消极情绪(悲伤)3种情绪。本研究通过利用LABNIRS设备采集被试的血氧浓度值（氧合血红蛋白【HbO】和脱氧血红蛋白【HbR】），采样率设为4 Hz，波长分别为780、805和830 nm。通过由15个光源和16个检测器组成的40个通道，覆盖双侧额上回、额中回、额下回、颞中回、颞上回、缘上回和角回(图1)。

图1. fNIRS通道配置信息。(A)fNIRS记录通道的地形分布。(B)佩戴近红外光谱传感器的受试者。

实验范式：实验范式如图2所示。整个实验分为2个任务块(block)，每个任务块包含12个试验。每次试验先显示试验序号1 s，然后集中2 s，然后受试者开始观看视频，观看视频后休息15 s。这个持续时间的设计是根据近红外光谱数据的特点来设定的，能够满足血氧信号恢复到基线状态所需的时间。观看完视频后，受试者根据自己的情绪状态对视频进行整体评分。

图2. 视频情绪诱发的近红外实验范式。(A)试次之间的流程关系。(B)试验内的流程顺序。

系统框架：图3显示了本研究提出的基于fNIRS的情绪识别框架。首先，受试者在观看情感电影片段时收集近红外光谱信号数据；其次，对原始近红外光谱信号进行预处理；然后，基于留一被试交叉验证策略将数据分为训练集、验证集和测试集，将训练和验证数据输入到构建的深度学习模型中，训练情绪识别模型；最后，在测试数据上对所训练的情绪识别模型的性能进行了评价。

图3. 基于fNIRS的跨被试情绪识别系统架构。BC:基线校正；LOSO，将一个受试者排除在交叉验证之外。Hold-out: 80%作为训练集，20%作为验证集。

# 深度神经网络模型

研究人员提出的模型框架DBJNet如图4所示，为了结合fNIRS高空间分辨率的信号特征，DBJNet分为2部分，一即卷积神经网络(CNN)分支，基于空间卷积提取局部空间特征；二即统计分支，提取各通道的全局时间平均响应特征。为了保证通道之间的空间连接，按照相邻通道的顺序对通道进行重新排序。通道重排前后的顺序如图5所示。

图4. 双分支联合网络(DBJNet)架构。

图5. 通道重排序示意图。将空间上相邻的通道排序在一起。

其中，红色实线圆圈表示通道，

蓝色实线表示重新排列通道的顺序。

# 三类情绪识别表现

为了验证效果，研究人员将提出的方法与其他深度学习模型(包括EEGNet、CNN + NLSTM和Tsception)在准确率和F1分数方面进行了比较。表1显示了本研究的fNIRS数据集上所有方法的交叉验证结果，结果显示本研究提出的方法在积极情绪、中性情绪和消极情绪的识别水平上比这些模型平均高出约16%，表明DBJNet在fNIRS情绪识别任务上具有优势。根据表1结果绘制了一个3类情绪混淆矩阵图(图6)。可以发现，在3类情绪识别任务中，由于模型对中性情绪的识别非常有效，因此提高了3类情绪识别任务的整体识别准确率。

综上所述，通过与各种方法的广泛比较，DBJNet在fNIRS跨被试情绪识别任务中表现出优势，特别是其在区分积极与中性、消极与中性的能力非常强。

表1. DBJNet与其他方法在fNIRS跨被试情绪识别任务中的准确率(ACC)和F1分数(均值±标准差)比较其中，Neg代表消极情绪，Pos代表积极情绪，Neu代表中性情绪。

图6. 积极、中性和消极情绪的三类混淆矩阵图。

# 结论与探讨

研究人员介绍了一种基于视频刺激的情绪识别实验，并构建了fNIRS情绪识别数据库。在本研究中，研究者首次引入深度学习技术，构建了双分支联合网络(DBJNet)，在情绪解码任务中表现出最佳性能，在区分消极情绪与中性情绪、积极情绪与中性情绪任务上表现优异。

不过在实验过程中发现该模型也存在局限性，包括情绪细分有限、积极和消极情绪解码性能相对较差等。

研究人员表示，未来可以将考虑引入更细分的情绪类别来丰富情绪识别的类型，以解决这些限制；同时，通过数据增强或增加fNIRS通道布局，可能可以进一步提高积极情绪和消极情绪解码的性能。总的来说，该项研究可以促进近红外情绪识别脑机接口的应用和发展。

# 团队与作者简介

天津大学神经工程团队隶属于天津大学医学工程与转化医学研究院(医工院)。团队是国内最先从事脑-机接口领域研究的团队之一，是脑机交互与人机共融海河实验室的核心建设力量，建设有天津脑科学与类脑研究中心(天津市脑科学与神经工程重点实验室)、天津神经工程国际联合研究中心、天津市智能人机交互康复工程技术中心等多个重要研究平台。团队先后入选天津市级教学团队、天津市“131”创新型人才团队和天津市人才发展特殊支持团队，是团中央首批小平科技创新团队。相关成果获中国专利奖、黄家驷生物医学工程奖(学科最高荣誉)、中国康复医学会科学技术一等奖、天津市技术发明一等奖等。2023年获得“天津青年五四奖章集体”。

司霄鹏课题组简介

司霄鹏，天津大学长聘副教授，博士生导师，入选首批天津市“项目+团队重点培养人才计划”和天津大学“北洋学者英才计划”；博士毕业于清华大学神经工程实验室，曾在美国约翰霍普金斯大学访学。课题组长期从事脑认知与智能、神经工程与脑机交互、多模态神经信息获取与智能计算、情感脑机接口与情感神经科学等研究。任职中国脑机接口产业联盟资深专家委员、中国医学装备协会教育培训分会委员、天津市中医药学会养生康复专业委员会常务委员和国家自然科学基金项目评审专家等。主持及参与了国家重点研发计划、国家自然科学基金面上项目和青年项目、天津市“项目+团队”重点专项和天津市自然科学基金等课题。以第一或通讯作者在Proceedings of the National Academy of Sciences、IEEE Journal of Biomedical and Health Informatics、Cerebral Cortex(封面论文)、Journal of Neural Engineering、Frontiers in Neuroscience、Frontiers in Aging Neuroscience、Cyborg and Bionic Systems、Brain Science Advance等国际顶级及本领域高水平期刊发表论文多篇，已授权国家发明专利多项，多次受邀在本领域重要国际会议做专题报告。学术成果被Nature子刊、美国国家医学科学院院士Edward Chang教授、国际人类脑图谱学会主席北京大学高家红教授、美国科学院院士Patricia Kuhl教授等国内外专家重点评述和正面引用。曾获世界机器人大赛情绪脑机接口比赛冠军及一等奖，世界机器人大赛BCI青年论文竞赛亚军及二等奖，天津脑科学中心十大科技进展，天津大学教学成果奖一等奖，天津市首批研究生课程思政教学名师，天津大学研究生优秀在线课程一等奖等。

课题组相关方向论文工作及链接：

基于fNIRS的情感识别BCI：

Xiaopeng Si, He Huang, Jiayue Yu, Dong Ming. Cross-Subject Emotion Recognition Brain–Computer Interface Based on fNIRS and DBJNet. Cyborg and Bionic Systems, 2023, 4: 0045.

https://spj.science.org/doi/full/10.34133/cbsystems.0045

基于Transformer网络的EEG情感识别BCI(该工作荣获2022年世界机器人大赛情绪脑机接口比赛冠军)：

Xiaopeng Si, Dong Huang, Yulin Sun, Shudi Huang, He Huang, Dong Ming. Transformer-based ensemble deep learning model for EEG-based emotion recognition. Brain Science Advances, 2023.

https://www.sciopen.com/article/10.26599/BSA.2023.9050016

基于Transformer网络的iEEG癫痫识别BCI：

Yulin Sun, Weipeng Jin, Xiaopeng Si (共一；共通), Xingjian Zhang, Jiale Cao, Le Wang, Shaoya Yin, Dong Ming. Continuous seizure detection based on transformer and long-term iEEG. IEEE Journal of Biomedical and Health Informatics, 2022, 26(11): 5418-5427. (中科院一区Top期刊）

https://ieeexplore.ieee.org/abstract/document/9858598

参考文献：

Cross-Subject Emotion Recognition Brain–Computer Interface Based on fNIRS and DBJNet

https://spj.science.org/doi/10.34133/cbsystems.0045