深圳大学梁臻老师课题组提出基于原型特征表示和配对学习的迁移学习框架及其在情绪识别中的应用

近期，深圳大学医学部生物医学工程学院梁臻老师课题组提出一种实用的基于原型特征学习和配对学习的迁移学习框架，称为PR-PL。PR-PL通过原型特征表示(Prototypical Representations)对EEG数据进行表征，并将基于EEG的情绪识别任务建模为配对学习任务(Pairwise Learning)。与现有基于传统机器学习或深度学习的模型相比，PR-PL在基于EEG的跨被试情绪识别中展现出更强的鲁棒性。

深圳大学医学部生物医学工程学院2018级本科生周如双同学(现于香港城市大学生物医学工程学院攻读博士学位)和哈尔滨工业大学(深圳)张治国教授为共同第一作者。深圳大学梁臻副教授为独立通讯作者。深圳大学为第一作者单位和通讯单位。

该论文已发表在IEEE Transactions on Affective Computing,题目为《PR-PL: A Novel Prototypical Representation Based Pairwise Learning Framework for Emotion Recognition Using EEG Signal》，

DOI: 10.1109/TAFFC.2023.3288118.

基于脑电图(EEG)的情绪脑机接口(aBCI)是情感计算领域的重要议题。然而，EEG信号中的个体差异性以及个体主观情绪反馈中的噪声标注问题严重限制了现有模型的有效性和泛化能力。近日深圳大学梁臻老师课题组提出了一种基于原型特征表示的配对学习(PR-PL)的新型迁移学习框架以解决上述两个关键问题，提升了aBCI在跨被试跨会话情绪识别任务中的精确度。

该框架通过学习具有泛化性的EEG原型特征来表征不同情绪，并将情绪多分类问题转化为配对学习进行训练，以提高模型对噪声标签的容忍度。具体而言，PR-PL利用原型表征学习方法以挖掘EEG数据中固有的与情感相关的语义结构。同时，其在考虑源域和目标域特征可分性的基础上，将不同个体的EEG特征对齐到相同的特征空间中。基于对齐的特征表示，PR-PL引入了一种自适应伪标签的配对学习方法，用于编码样本之间的相似关系，并减轻标签噪声对建模的影响。研究团队在两个公开数据库(SEED和SEED-IV)上进行了大量的对比实验，在四种不同的交叉验证方法中验证了模型在跨被试和跨会话情绪识别任务中的可靠性和稳定性。与现有模型相比，PR-PL在四种不同的交叉验证方法下的平均性能提升分别为2.04％(SEED)和2.58％(SEED-IV)。

# 研究方法

受KMeans模型和聚类原理启发,研究人员假设每个情绪类别都存在一个原型特征(Prototype Feature)。而通过原型学习，原型特征被模型学习到并用于指示每个情感类别的表示属性。我们可以认为不同个体在不同情绪下提取的样本特征应该分布在原型特征周围。换句话说，对于每个情感类别，原型特征可以被认为是所有属于该类别的样本特征的质心(Centroid)。相比于质心周围的样本特征(Sample Feature)，原型特征能够更好地表征所属情绪的特性并消除干扰信号。为了实现基于原型特征的情绪分类，研究人员引入双线性变换(Bilinear Interaction)来衡量样本特征和原型特征之间的交互关系，并在此基础上提取映射特征(Interaction Feature)用于后续的配对学习以及情绪分类。

传统的样本分类学习算法(Pointwise Learning)往往利用样本的预测标签和标签对模型进行有监督训练。在这种情况下，如果一个样本特征与第个情绪类别的原型特征最匹配，则该特征将被分配到第个情绪类别。然而上述训练方式仅仅关注样本特征与原型特征之间的关系，而忽略了不同表征特征之间的关系。譬如，不同类的样本特征应该互相远离，同类的表征特征应该聚拢。具有高相似度样本应该配对且属于同一类别，反之不配对且不属于同一类别。同时，样本分类学习算法对精准类别标签的依赖强，在没有类别标签或者类别标签出现一定噪声的时候其鲁棒性会下降。而由于脑电情绪识别任务中数据集类别标签存在有一定噪声，且标签搜集难度大，样本分类训练方式的鲁棒性和适用性则会出现下降。为了解决这个问题，我们引入了配对学习来挖掘样本间的内在关系，同时将类别标签转为更易获得，更不受噪声影响的配对标签来训练模型。具体来说，根据源域和目标域数据的特性(有无监督信息)，研究人员提出分别利用有监督和无监督的配对学习来增强模型泛化性能。

总的来说，PR-PL的框架主要组成部分如下：(1)利用原型特征学习(Prototypical Learning)配合DANN网络寻找普适，共享，信噪比高的情绪原型特征。随后利用双线性变换挖掘样本特征与原型特征的关系并将其映射至分类空间中实现情绪分类。上述方法能够在减少脑电信号个体差异性的同时缓解 DANN 网络容易受到噪声干扰的问题。(2)配对学习利用配对标签衡量两个脑电信号是否属于同一类别(若为1，则两样本属于同一类，反之则属于不同类)，而不关注于其具体属于哪一类。因此，配对学习的训练过程无需依赖精确的标记信息，而能够达到与样本分类学习相等乃至更优的性能。对于有标签信息的源域数据，我们提出利用有监督配对学习(Supervised Pairwise Learning)来取代传统框架中的样本分类学习。上述方法能够缓解DANN 网络依赖于源域精确标签且容易受到标签噪声干扰的问题。(3)对于无标签信息的目标域数据，我们提出利用无监督配对学习(Unsupervised Pairwise Learning)和动态置信度阈值来解决DANN 网络只关注源域数据可分性而对其过拟合的问题。具体来说，由于目标域无任何标签信息，我们提出利用动态变化的阈值来挑选置信度高的配对样本,并赋予伪标签(Pseudo Label)用于训练。随后，利用无监督配对学习来促使模型关注于目标域数据的可分性，提高其在目标域的泛化性能。

图1.PR-PL的模型架构设计

# 实验结果

为了验证上述想法，研究人员在两个广泛用于情感迁移学习研究的公开数据库SEED，SEED-IV上进行实验以验证上述迁移学习框架的鲁棒性。为更加充分全面地对模型性能进行评估，研究人员总结了四种交叉验证方式：被试内跨会话(within-subject cross-session)，被试内会话内(within-subject single-session)，跨被试会话内(cross-subject single-session)，跨被试跨会话(cross-subject cross-session)。从表1可以看出，所提出的PR-PL在所有四种交叉验证上相比于现有的SOTA方法展现了明显的优越性。

随后，我们进一步利用消融实验评估了在采用不同参数设置时对模型性能的影响。如表2所示，PR-PL模型的每个组成部分，如原型特征学习与配对学习，都对模型的泛化性能起到了正向作用。为了探究噪声标签对PR-PL模型的性能影响，我们抽取一定比例的训练标签并将其转换为随机标签以模拟噪声标注的影响。在实现过程中，标签抽取比例分别调整为10%，20%和30%。对应的模型准确率及标准差分别为89.22%±6.05%，88.39%±6.73%和87.71%±5.02%。结果显示，随着标签噪声比例从10%增加到30%，模型性能仅仅略微下降，下降率为1.69%。这些结果表明，所提出的PR-PL模型是可靠的，并且对噪声标签有更好的容忍性。最后，为了可视化分析PR-PL模型的优越性，我们分别采用T-SNE和混淆矩阵来对模型提取的特征，模型输出的预测标签进行展示。如图2所示，与现有方法(a)、(b)和(c)相比，我们提出的模型可以增强模型的识别能力，特别是对于区分中性和负面情绪。同时，如图3所示，与其他模型设置(完全没有进行配对学习，以及没有对目标域进行配对学习)相比，所提出的PR-PL促成了类内更为聚集而类间更为分散的情绪聚类。

表1 不同模型在不同交叉验证方式以及不同数据库下的情绪分类准确度

表2 PR-PL模型消融实验

图2 不同模型的混淆矩阵

图3 PR-PL模型的特征可视化分析

综上，本文旨在提出了一种新颖的迁移学习框架以实现高效的跨被试跨会话情绪识别，即基于原型表示的配对学习(PR-PL)。为了全面评估模型的鲁棒性，我们在两个公开情感数据库(SEED和SEED-IV)上采用了四种不同的交叉验证方法(被试内跨会话，被试内会话内，跨被试会话内，跨被试跨会话)，并将PR-PL与现有SOTA方法进行了比较。广泛的实验结果表明，本文提出的PR-PL在所有四种交叉验证范式中均取得了优越的结果。此外，我们还充分验证了该模型在不同实验设置下的稳定性和泛化能力。实验结果表明，所提出的PR-PL在解决情感脑-计算机接口系统中的个体差异和噪声标注问题方面具有显著优势。

论文详情：

Rushuang Zhou#, Zhiguo Zhang#, Hong Fu, Li Zhang, Linling Li, Gan Huang, Fali Li, Xin Yang, Yining Dong, Yuan-Ting Zhang, Zhen Liang*. PR-PL: A Novel Prototypical Representation Based Pairwise Learning Framework for Emotion Recognition Using EEG Signals. IEEE Transactions on Affective Computing, 2023.

—— End ——