深圳大学梁臻博士提出EEGFuseNet高维脑电图混合无监督深度特征表征与融合模型及其在情绪识别中的应用

近期，深圳大学医学部生物医学工程学院梁臻博士（张治国教授团队MIND LAB核心成员）提出一种实用的基于无监督学习的卷积循环混合生成对抗网络，用以实现有效的脑电特征表征与融合，简称为EEGFuseNet。EEGFuseNet以无监督的方式进行训练和学习，并自动提取涵盖空间和时间动态变化性的深度EEG特征。与现有传统脑电特征相比，所提取的深度EEG特征被证实更具通用性，并且不受限于特定的脑电任务。

深圳大学是该论文的第一单位。深圳大学医学部生物医学工程学院助理教授梁臻博士为第一作者，周如双同学为第二作者，张治国教授为通讯作者。该论文已发表在IEEETransactions on Neural Systems and Rehabilitation Engineering,题目为《EEGFuseNet: Hybrid Unsupervised Deep Feature Characterization andFusion for High-Dimensional EEG with An Application to Emotion Recognition》，

DOI: 10.1109/TNSRE.2021.3111689.

如何高效地从高维脑电图（EEG）中提取有效、可靠的特征，特别是将大脑的时空动态信息实现更好的特征表达与融合，是脑数据分析中的一个关键问题。当前的脑电研究大多是以任务驱动的方式进行，使用有监督学习的模型来探索有效的脑电特征，这在很大程度上受到于标签的限制。在本文中，作者提出一种实用的基于无监督学习的卷积循环混合生成对抗网络的脑电特征表征与融合模型，称为EEGFuseNet。基于三个公共脑电情感数据库，作者对EEGFuseNet所提取出的深度低维脑电特征的性能进行了仔细地评估。结果表明，所提出的EEGFuseNet是一个鲁棒高、可靠性强的模型。该模型易于训练，在动态脑电特征的表征和融合方面具有良好的性能。特别是，EEGFuseNet良好地解决了跨个体脑电特征性能稳定性的问题，并证实了所提取的深度特征具有与不同大脑状态变化相对应的大脑皮层动力学意义。

情绪解码框架图

1

研究方法

(1)如何从经典CNN出发构建EEGFuseNet的基本架构

基于CNN的深度编码器-解码器模型架构设计

(2)如何将GAN纳入到基于CNN的网络中以生成高质量的特征

GAN网络中判别器的模型架构设计

(3)如何将RNN整合到基于CNN-GAN的网络中以更好地融合时间和空间信息，形成EEGFuseNet的最终架构

为了增强时序EEG信号的特征表示，作者将CNN-GAN网络扩展为一种混合结构，并结合循环网络和卷积网络的优点来提取脑电特征，提出的基于无监督学习的卷积循环混合生成对抗网络（EEGFuseNet）。在EEGFuseNet模型架构中，原始EEG信号在经过卷积层之后被表征为特征向量序列（视为空间动态表征），然后循环神经网络学习该序列特征，并综合时序EEG信号的过去和未来动态信息提取时间动态表征。具体来说，编码器的卷积层从每个时间点从EEG信号中提取特征（浅特征提取），循环层将每个时间点提取的特征编码为整个EEG输入信号的完整特征表示（深度特征提取）。解码器由循环层和反卷积层组成，前者从编码器输出预测每个时间点的特征，后者将特征重构为原始EEG信号。在EEGFuseNet的混合网络中，浅层特征提取模块中的卷积和反卷积层超参数与CNN网络相同。深层特征提取模块根据浅层模块生成的特征映射（行和列分别表示来自不同通道和时间点的特征），对序列特征进行表征。为了提高循环层的计算效率，在实现过程中作者采用双向GRU，并在训练过程中对GRU的输入进行批量更新。网络最终提取的o则作为后续无监督脑电解码中使用的深度脑电特征。在脑电信号处理过程中，该模型采用了一种有效的时空联合的融合方法，对包含时空动态的信息特征进行了表征，成功地融合了所提取的不同深度、不同脑区和不同时间点的特征表征，有助于非平稳时序EEG信号的时空动态表示。此外，作者利用超图理论来解决情感分类问题。以EEG样本为顶点，基于由EEGFuseNet所提取的EEG深度特征来计算EEG样本之间的相似关系，并分析样本间的相似度分布，形成超边缘，构建多个EEG样本的超图结果。在解决情感分类问题中，通过计算所构建超图的拉普拉斯算子并用最优特征空间求解，将构造的超图划分为特定数量的类来实现。

本文所提出的EEGFuseNet的模型架构设计

2

实验结果

本文旨在提出一种在无监督情况下对高维EEG信号进行有效、可靠的特征表征和融合的理论和实用方法。作者在DEAP、MAHNOB-HCI和SEED这三个常用的公共脑电情感数据库上进行了广泛的实验。这里，情绪都由维度情绪模型来定义，即效价、唤醒度、支配度、喜好程度和可预测性。作者充分评估了所提出的基于无监督学习的卷积循环混合生成对抗网络的有效性和可靠性，仔细量化了不同情绪维度上的情绪识别性能，并与多种经典算法进行了比较。本文对不同设计与配置的EEGFuseNet进行了全面的比较。并在情绪识别应用中验证了所提取特征的有效性和高效性。结果表明，本文提出的混合EEGFuseNet（基于CNN-RNN-GAN）总体优于其他网络（CNN、混合CNN-GAN和混合CNN-RNN），这也证明了作者在网络设计中的原始假设。值得注意的是，本文提出的表征、融合和分类框架是一种自学习范式，在训练过程中不需要任何标签信息。本研究可以作为高维EEG研究的基础框架，并可用于评估除非平稳时序EEG信号以外的其他无监督方法的有效性。另一方面，由于缺乏标签指导，当前无监督结果的性能仍然低于有监督方法的性能。在EEG的情绪解码应用中，仍然需要进一步开发无监督算法，并提高其性能。在大多数的现实应用场景中，没有足够的标签信息用于有监督模型的搭建，在新数据出现时也很可能没有便携式的计算平台来支持模型的再训练。因此，无监督解码方法对脑电模型的学习、更新和工作起着重要作用。

对比不同的特征提取方法（DEAP数据库）

对比不同的特征提取方法（MAHNOB-HCI数据库）

对比不同的特征提取方法（SEED数据库）

对比不同的解码模型算法（DEAP数据库）

对比不同的解码模型算法（MAHNOB-HCI数据库）

对比不同的解码模型算法（SEED数据库）

消融实验（DEAP数据库）

消融实验（MAHNOB-HCI数据库）

消融实验（SEED数据库）

论文详情：

ZhenLiang, Rushuang Zhou, Li Zhang, Linling Li, Gan Huang, Zhiguo Zhang, and ShinIshii, “EEGFuseNet: Hybrid Unsupervised Deep Feature Characterization andFusion for High-Dimensional EEG with An Application to Emotion Recognition,”IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol.29, pp. 1913-1925, 2021.