DEAP:使用生理信号进行情绪分析的数据库(三、实验分析与结论)

导读

研究人员提出了一个分析人类情感状态的多模态数据集DEAP。该数据集来源于记录32名参与者的脑电图(EEG)和周围生理信号，每个人观看40段一分钟长的音乐视频片段。参与者根据唤醒，效价，喜欢/不喜欢，主导和熟悉程度对每个视频进行评分。在32位参与者中，有22位还录制了正面面部视频。提出了一种新颖的刺激选择方法，该方法通过使用来自last.fm网站的情感标签进行检索，视频高亮检测和在线评估工具来进行。提供了对实验过程中参与者评分的广泛分析。脑电信号频率和参与者的评分之间的相关性进行了调查。提出了使用脑电图，周围生理信号和多媒体内容分析方法对唤醒，效价和喜欢/不喜欢的等级进行单次试验的方法和结果。最后，对来自不同模态的分类结果进行决策融合。该数据集已公开提供，研究人员鼓励其他研究人员将其用于测试他们自己的情感状态估计方法。

第一部分、背景介绍与刺激选择

DEAP:使用生理信号进行情绪分析的数据库(一、背景介绍与刺激选择)

第二部分、实验设计与主观分析

DEAP:使用生理信号进行情绪分析的数据库(二、实验设计与主观分析)

第三部分、实验分析与结论

5、脑电图与评分的相关性

为了研究主观评分与脑电图信号的相关性，将脑电图数据进行共同平均引用，降采样至256 Hz，利用EEGlab 6工具箱用2 Hz的切换频率进行高通滤波。我们用盲源分离技术去除了人工制品。然后，提取每个试验(视频)最后30秒的信号进行进一步分析。为了校正与刺激无关的功率随时间的变化，将每个视频前5秒的脑电图信号提取为基线。

图7.四种情感诱发条件(LALV、HALV、LAHV、HAHV)的主观评分(L-综合评分、V-效价、A-唤起、D -优势度、F-熟悉度)的分布。

表4

与量表相关性显著的电极(*=p < .01， **=p < .001)。还显示了主相关系数(¯R)、最负相关系数(R−)和最正相关系数(R +)的平均值。

表3

所有40个刺激的效价、唤醒度、喜好、支配、熟悉程度和呈现顺序(即时间)之间的主观相关。根据Fisher方法，显著相关(p<.05)由星星表示。

采用Welch方法提取试验频率和3 ~ 47Hz之间的基线，窗口为256个样本。然后从试验功率中减去基线功率，得到相对于刺激前时期的功率变化。这些功率的变化在(3 - 7赫兹)、(8 - 13赫兹)、(14 - 29赫兹)和(30 - 47赫兹)的频带上取平均值。对于相关统计，我们计算了权力变化和主观评分之间的Spearman相关系数，并计算了左尾(正)和右尾(负)相关检验的p值。我们分别对每个参与者进行了这项工作，假设[39]是独立的，那么每个相关方向(正/负)、频带和电极的32个p值将通过Fisher’s方法[40]合并为一个p值。

图8显示了显著(p < .05)相关电极的(平均)相关性。下面我们将只报告和讨论p < .01时显著的影响。表4列出了各种影响。

对于唤醒度，我们发现theta，alpha和gamma波段呈负相关。 较高唤醒度的中央α功率降低与我们较早的先导研究[35]的发现相符，并且在[41]，[42]之前已经报道了α功率与一般唤醒水平之间存在反比关系。

图8：效价，唤醒度和总体评分与theta（4-7 Hz），

alpha（8-13 Hz），beta（14- 29 Hz）和gamma（30-47 Hz）。

突出显示的传感器与额定值显着相关（p <.05）

效价显示出与脑电信号的最强相关性，并且在所有分析的频带中都发现了相关性。在低频theta和alpha中，效价的增加导致功率的增加。这与试点研究的结果一致。这些影响在枕骨区域，因此在视觉皮层上的位置，可能表明这些影响是相对的失活或自上而下的抑制，这是由于参与者专注于愉悦的声音所致[43]。对于β频段，我们发现在飞行员中也观察到了中央下降，并且枕骨和右颞骨的功率增加。 [44]，对右侧颞部部位的增强的β能力与积极的情绪自我诱导和外部刺激有关。类似地，[45]报道了价态和高频功率的正相关，包括前颞脑来源的β和γ带。相应地，我们观察到左，尤其是右颞伽马力的显着增加。但是，应该提到的是，EMG（肌肉）活性在高频中也很突出，尤其是在前电极和颞电极上[46]。

在所有分析的频带中都发现了相似的相关性。对于θ和α屈光力，我们观察到左额中央皮层的增大。喜欢可能与进场动机有关。然而，观察到较高的喜好导致左α力量增加与左额叶激活的发现相冲突，导致该区域的α降低，这通常被报道为与进场动机有关的情绪[47]。当考虑到一些不喜欢的片段很可能引起愤怒的感觉（由于不得不听它们，或者仅仅是由于歌词的内容）而引起的矛盾时，这种矛盾可能会得到解决，这也与进场动机有关，因此可能导致alpha向左减少。在β和γ谱带中发现的正确的颞部增大与所观察到的效价相似，应谨慎行事。通常，图8中所示的效价和喜好相关性的分布看起来非常相似，这可能是上述量表之间高度相关的结果。

综上所述，我们可以指出，观察到的相关性部分符合试点研究和其他研究中探索情感状态的神经生理学相关性的观察结果。因此，在多模态音乐刺激的背景下，它们可能被视为情感状态的有效指标。然而，平均相关性很少大于±0.1，这可能是由于参与者之间在脑激活方面的高变异性造成的，因为在相同的电极/频率组合下，在给定的尺度相关性下观察到±0.5之间的个体相关性。这种高的参与者间变异性的存在证明了参与者特有的分类方法是正确的，正如我们所使用的，而不是针对所有参与者的单一分类器。

6、单项试验分类

在本节中，我们将介绍视频单次分类的方法和结果。采用脑电图信号、周围生理信号和MCA三种不同的模式进行分类。所有模式的条件保持不变，只是特征提取步骤不同。

提出了三种不同的二元分类问题：低/高唤醒的分类，低/高效价和低/高喜好分类。 为此，将实验期间参与者的评分作为基本事实。 这些量表中的每个量表的等级都分为两类（低和高）。在9点评分量表上，阈值仅位于中间。 请注意，对于某些主题和规模，这会导致班级不平衡。 为了说明类别的不平衡程度，每个等级量表中属于高等级的视频所占百分比的平均值和标准差（超出参与者）为引起59％（15％），价57％（9％） 喜欢67％（12％）。

鉴于此问题，为了可靠地报告结果，我们报告了F1分数，该分数通常用于信息检索中，并且考虑了类平衡，这与单纯的分类率相反。 此外，我们使用朴素贝叶斯分类器，这是一种简单且可概括的分类器，能够处理小型训练集中的不平衡类。

首先，为每个试验（视频）提取给定模态的特征。 然后，对于每个参与者，F1量度用于评估“留一法”交叉验证方案中的情感分类表现。 在交叉验证的每个步骤中，一个视频用作测试集，其余视频用作训练集。 我们使用Fisher线性判别式J进行特征选择：

µ和σ的平均值和标准偏差特性f。我们计算每个特性这一标准,然后应用一个阈值选择最大限度地区别对待的。这个阈值是根据经验确定的0.3。

使用高斯朴素贝叶斯分类器将测试集分类为低/高唤醒，效价或喜好。 朴素贝叶斯分类器G假定特征的独立性，并由下式给出：

其中F是要素集，C是类。 通过假设特征的高斯分布并从训练集中对其建模来估计p（Fi=fi|C=c）。

接下来的部分解释了EEG和周围生理信号的特征提取步骤。第6.2节介绍了MCA分类中使用的特性。在第6.3节中，我们解释了用于结果决策融合的方法。最后，第6.4节给出了分类结果。

6.1脑电图及周边生理特征

目前大多数关于情绪[48]、[49]的理论都认为，生理活动是情绪的重要组成部分。例如，一些研究已经证明了与基本情绪[6]相关的特定生理模式的存在。

围神经系统信号记录如下:GSR,呼吸幅度,皮肤温度,心电图,血容量体积描记器、颧肌和斜方肌的肌肉的肌电图,眼电图(小城镇)。GSR提供皮肤的电阻的测量定位两个电极的远端趾骨和食指中间。这种阻力减少由于增加的汗水,这通常发生在一个正在经历的情绪,如压力或惊喜。此外,朗等人发现GSR的平均值与唤醒的程度[20]。

容积描记器测量参与者拇指的血容量。这种测量也可以用来计算心率(HR)，通过识别局部最大心率(即心跳)、搏动间期和心率变异性(HRV)。血压和HRV与情绪相关，因为压力会增加血压。刺激的愉快程度可增加峰值心率反应[20]。除了HR和HRV特征外，HRV衍生的光谱特征在情绪评估[50]中被证明是一个有用的特征。

记录皮肤温度和呼吸，因为它们随着不同的情绪状态而变化。缓慢的呼吸与放松有关，而不规则的节奏、快速的变化和呼吸的停止则与愤怒或恐惧等更强烈的情绪有关。

关于肌电图信号，我们记录了斜方肌(颈部)的活动，以研究听音乐时可能的头部运动。大颧肌的活动也被监测，因为当参与者大笑或微笑时，这块肌肉会被激活。肌肉收缩时肌电信号频谱中的大部分功率都在4到40赫兹之间。因此，从不同肌肉的肌电信号在这个频率范围内的能量可以得到肌肉的活动特征。眨眼频率是另一个与焦虑相关的特征。眨眼会影响EOG信号，并导致该信号中容易检测到的峰值。要进一步了解情绪的心理生理学，研究人员建议读者参考[51]。

表5

从脑电图和生理信号中提取特征。

所有的生理反应都以512Hz的采样率记录下来，然后向下采样至256Hz以减少处理时间。通过减去时间低频漂移，去除心电图和GSR信号的变化趋势。通过平滑每个ECG和GSR通道上的信号，以256点移动平均值计算低频漂移。

根据文献[22]、[26]、[52]-[54]提出的特征，从周围生理反应中共提取106个特征(见表5)。

从EEG信号中，提取出功率谱特征。 来自theta（4-8 Hz），慢速alpha（8-10 Hz），alpha（8-12 Hz），beta的频谱功率的对数

从所有32个电极提取（12-30Hz）和gamma（30+ Hz）波段作为特征。 除了功率谱特征外，还提取了左右半球上所有对称电极对的谱功率之间的差异，以测量由于情感刺激而导致的大脑活动中可能存在的不对称性。 一项针对32个电极的试验的EEG特征总数为216。表5总结了从生理信号中提取的特征列表。

6.2 MCA特性

音乐视频被编码为MPEG-1格式，以提取运动矢量和I帧以进行进一步的特征提取。 使用[55]中提出的方法已经将视频流在镜头级别进行了分割。

从电影导演的角度来看，照明键[30]，[56]和颜色变化[30]是唤起情感的重要工具。 因此，我们通过将平均值V（在HSV中）乘以值V（在HSV中）的标准偏差，从HSV空间中的帧中提取照明关键点。 通过计算L，U和V的协方差矩阵的行列式，在CIE LUV颜色空间中获得颜色方差。

Hanjalic和Xu[29]展示了视频节奏和情感之间的关系。提取平均镜头变化率和镜头长度方差来表征视频节奏。在连续的画面中快速移动的场景或物体的移动也是引起兴奋的一个有效因素。为了测量这一因素，运动分量被定义为连续帧中的运动量，它是通过对所有B帧和p帧的运动矢量大小的累加计算得到的。

颜色及其比例是引起情绪的重要参数[57]。 针对每个I帧计算HSV空间中的色调和亮度值的20 bin颜色直方图，然后在所有帧上取平均值。 所得的bin平均值用作基于视频内容的功能。 计算HSL空间中L值的中值以获得帧的中值亮度。

最后，根据[30]给出的定义，确定代表阴影比例、视觉刺激、灰度和细节的视觉线索。

声音对情感也有重要的影响。例如，语音的响度(能量)与唤起有关，而语音信号的节奏和平均音高与价态[58]有关。视频的音频通道被提取并编码成mono MPEG-3格式，采样率为44.1 kHz。所有的音频信号在进一步处理之前都被归一化到相同的振幅范围。每个音频信号共确定53个低电平音频特征。表6中列出的这些特性通常用于音频和语音处理以及音频分类[59]、[60]。利用PRAAT软件包提取MFCC、共振峰和音频信号的音高[61]。

6.3单模态结果融合

上述多种模式的融合旨在通过利用不同模式的互补性来改进分类结果。通常，模态融合的方法可以分为两大类，即特征融合(或早期融合)和决策融合(或后期融合)[63]。在特征融合中，将从不同模式的信号中提取的特征串联起来形成一个复合的特征向量，然后将其输入到识别器中。另一方面，在决策融合中，每个模态都由相应的分类器独立处理，并将分类器的输出组合起来得到最终的结果。每种方法都有自己的优点。例如，实现一个基于特征融合的系统是很简单的，而一个基于决策融合的系统可以通过使用现有的单模分类系统来构建。此外，特征融合可以考虑所涉及模式的同步特性，而决策融合可以灵活地对模式的异步特性进行建模。

决策融合相对于特征融合的重要优势在于，由于决策融合中的每个信号都是独立处理和分类的，因此采用最佳加权方案来调整每种模态对最终信号的贡献的相对量相对容易。 根据模态的可靠性做出决定。 我们工作中使用的加权方案可以形式化如下：对于给定的测试基准X，融合系统的分类结果为

其中M模式的数量被认为是融合,λM是第M形态的分类器,和π(X |λm)为第i类是它的输出。αm的加权因子,满足0≤αm≤1 M和

,确定每个模式会导致最后的决定和表示方式的可靠性。

我们采用了一种简单的方法，即一旦从训练数据确定其最优值，就确定权重因子。通过穷举搜索规则网格空间来估计最优权值，其中每个权值从0到1增加0.01，并为训练数据选择产生最佳分类结果的权值。

6.4结果与讨论

表7列出了每种方式和每个评分量表的参与者的平均准确率和F1得分（两个班级的平均F1得分）。 我们将结果与随机投票的期望值（解析确定）进行比较，根据训练数据中的多数类别投票，并针对每个类别的投票及其在训练数据中出现的可能性进行比较。 为了确定多数投票和班级比例投票的期望值，我们在实验中使用了每个参与者反馈的班级比例。 这些结果有些过高，因为实际上必须从留一法交叉验证的每一折中的训练集中估计班级比率。

根据班别比例投票，每个参与者的预期f1分为0.5分。为了检验显著性，我们进行了独立的单样本t检验，将受试者的f1分布与0.5基线进行比较。从表中可以看出，在获得的9个f1分数中，有8个明显好于class ratio baseline。唯一的例外是使用脑电图信号进行喜好分类(p = 0.068)。当根据多数阶级投票时，由于阶级的不平衡，获得了相对较高的准确性。然而，这个投票方案的f1分数也是最低的。

总的来说，使用MCA特征进行分类的结果明显优于脑电图和外周血管(p均< 0.0001)，而脑电图和外周血管的得分没有显著差异(p = 0.41)(对每个等级量表和参与者的连接结果进行双侧重复样本t检验)。

可以看出这些模式表现出适度的互补性，其中脑电图在唤醒方面得分最高，外在效价在价位方面得分最高，在喜好方面则在MCA得分最高。 在不同的等级量表中，效价分类表现最佳，其次是喜好，最后是唤醒度。

总体而言，使用MCA进行分类的效明显优于脑电图和外围评分（两者p均<0.0001），而脑电图和外围评分均无显着差异（p = 0.41）（使用双向重复样本t检验进行了 每个评分量表和参与者的合并结果）。 仅考虑了两种表现最佳的方式。 尽管融合通常胜过单一模式，但仅对价比例均等权重的MCA，PER有意义（p = 0.025）。

虽然给出的结果明显高于随机分类，但仍有很大的改进空间。 信号噪声，个体生理差异和有限的自我评估质量使单次试验分类具有挑战性。

表6

从音频信号中提取低级特征。

表7

平均准确率(ACC)和F1分(F1，每个班的平均分数)。根据一个独立的单样本t测试，星形显示受试者的f1分数分布是否显著高于0.5(∗∗= p < .01，∗= p < .05)。为了比较，我们给出了基于随机投票的分类、基于多数类别的投票和基于类的比例投票的预期结果。

表8

使用相等权重和最优权重方案的最佳两种模式和所有三种模式的融合的F1分数。 为了进行比较，还给出了最佳单模态的F1得分。

7、结论

在这项工作中，我们提出了一个数据库的分析自发的情绪。该数据库包含32名参与者的生理信号(和22名参与者的正面视频)，每个参与者观看并评价他们对40个音乐视频的情绪反应，这些情绪反应包括唤醒度、效价和支配度，以及他们对这些视频的喜爱程度和熟悉程度。摘要提出了一种基于情感标签的半自动刺激选择方法。参与者评分与脑电图频率之间存在显著相关。使用从脑电图、周围神经和MCA模式中提取的特征，对唤起、效价和喜欢度进行单次试验分类。结果表明，该方法明显优于随机分类。最后，这些结果的决策融合产生了性能的适度提高，表明至少与模式有一定的互补性。

文章来源于网络，仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言！