国内研究者提出了一种新颖的基于VR的脑电情感诱发范式

最近，国内的研究人员提出了一种新颖的情感诱发范式，该范式将VR技术与EEG技术结合。相比于传统音视频刺激等范式，该范式在情感诱发方面具有显著优势。

该成果发表在IEEE Transactions on Visualization and Computer Graphics，题为Neurophysiological and Subjective Analysis of VR Emotion Induction Paradigm。

情感诱发的范式对于情感研究至关重要。与经典的被动诱发范式相比，沉浸式虚拟现实(VR)可使得受试者的心理和生理充分参与其中，因此被认为是情感诱发的有效范式。然而，很少有研究应用VR场景诱发目标情感，特别是从神经生理学角度系统地分析VR场景下的情感变化过程。

为了填补这一空白并科学评估VR技术应用于主动诱发情感范式的性能，我们研究了显性信息（主观评估）和隐性信息（客观神经生理学数据）之间的动态关系。共招募28名受试者观看8个VR视频，同时记录他们的SAM/IPQ分数和EEG数据。在结果表明，VR在诱发情感(唤醒-效价)方面具有显著优势。并且这一结论得到了神经生理学证据的支持，即VR场景有效地诱发了高唤醒情感。

此外，我们发现了与情感效价相关的关键通道和频率振荡的特征。特别是，我们发现在高唤醒和低唤醒条件下枕叶左右半球不对称的现象，这增加了对神经特征和唤醒维动力学的理解。因此，该研究成功地将EEG和VR结合起来，证明了VR在情感诱发方面更为实用，有利于EEG情感的研究。

二、研究路线

图1 VR诱发情感的范式与分析方法

VR诱发情感的范式总览如图1所示。图a是刺激材料的分布(H表示高，L表示低，A表示唤醒，V表示效价)。图b是实验设备，EEG采集设备，VR设备，显示器和相关数据处理的电脑等。图c是情感主观评价系统(SAM/IPQ)和脑电数据分析方法(预处理和频率-空间分析)。

补充SAM&IPQ

SAM通是一种被大多数研究人员普遍接受的情感评估模型，该模型使用卡通人体模型的图像来表示情感效价维和唤醒维的值，以此作为情感评估的标准。图2显示了SAM的效价维和唤醒维，效价维主要通过卡通小人眉毛、眼睛和嘴的变化来取值，唤醒维主要通过卡通小人眼睛睁开程度与心脏跳动的程度来取值，可以根据实际情况选取最为贴切当前情感状态的卡通人体模型来完成情感的标注。

图2 SAM系统

(a) 效价维的评价标准 (b)唤醒维的评价标准

IPQ沉浸感量表，可对一个VR体验的设计进行评估，它由14个项目组成，可以衡量用户的空间存在感、参与度和真实感。定义Presence为“处在某个地点或环境的主观感受，即使物理上可能处于另一个地点或环境”。把促进Presence的因素分为一下几类：控制因素Control Factor，感官因素Sonsory Factor，分神因素Distraction Factor，真实度因素Realism Factor。几个因素互相之间几乎都有关联，一个因素可能也会影响别的因素。

三、实验设计

3.1 EEG采集设备和VR设备

图3 EEG采集设备和VR设备 (a)受试者在实验过程中同时佩戴EEG采集设备和VR设备 (b)10-20系统，标红色的32个电极是本次研究采用的电极

设备清单包括：一台电脑(i7 处理器, GTX2060显卡, 16GB内存)，HTC Vive Pro HMD(VR设备)，ANT Neuro(EEG采集设备)。另外32个电极的采用与DEAP，MAHNOB-HCI数据集的一致。

3.2 VR刺激材料

图4 VR刺激材料示例

VR的刺激材料来自于斯坦福沉浸式VR视频公共数据集，该数据集包括73个沉浸式VR剪辑。每个视频都有一个效价和唤醒分数，分布在V-A平面模型的四个象限。在这个V-A平面中的四个象限是低唤醒&低效价(LALV)、低唤醒&高效价(LAHV)、高唤醒&低效价(HALV)和高唤醒&高效价(HAHV)。由于该数据集中缺乏HALV的视频，我们从YouTube中选择了15个观看次数最多的恐怖视频。至少有16名志愿者对每段视频进行了9分的SAM评估，并使用平均值作为最终的评价。由于HAHV中，名为 “speedflying and tightrope walking”的视频可能会引起晕动症。因此，使用一款VR游戏“The Blu–Whale Encounter”来替代。该游戏更像是一种看电影的体验，因为它相对被动和直接。已经证明，它可以诱发HAHV，同时也为玩家提供生动的VR印象。它包含三个片段，我们选择其中两个作为刺激材料。如图4所示，我们选择了八个VR视频，每个视频都有不同的标题、视频截图及其对应的象限。

3.3 实验过程

图5 (a)实验与分析流程总览 (b)实验具体流程及细节

所有受试者都自愿参加了研究，并仔细了解了研究目标、实验程序和风险。要求每个受数者在试验前一天停止常规药物、酒精或咖啡因，并在试验前48小时停止剧烈的体力活动。在实验之前，受试者们签署了一份书面知情同意书。他们还被告知，他们可以随时停止，而不会产生任何后果。同时，实验者解释了使用的情绪量表以及如何在自我评估表中填写。接下来，放置EEG采集帽并检查信号质量。最后，实验者离开房间开始录音。

实验由一个基线阶段和八个试次组成。实验开始后，受试者被要求安静地坐在椅子上五分钟。此外，记录受试者的SAM评分作为基线测量。然后，八个VR视频以随机顺序在八个试次中显示。每个试次包括三个步骤。前五秒钟显示固定十字。然后，受试者被随机分配观看八个VR视频中的一个。观看每个视频后，他们被要求使用SAM和IPQ问卷对自己的情绪和参与感进行评分。为了避免重复佩戴VR头盔和干扰EEG电极位置而产生伪迹，SAM和IPQ问卷显示在虚拟屏幕上。这允许受试者填写问卷，而无需移除VR头盔。完成评分和休息过程大约需要5分钟，以避免精神疲劳。每个VR视频大约有三分半长。整个实验大约需要一个小时才能完成。具体细节如图4所示。

3.4 脑电数据处理

EEG包括多个通道的时间序列，对应于大脑皮层不同位置的测量值。然而，身体运动、VR显示、眼电图（EOG）、ECG和肌电图（EMG）等噪声很容易干扰EEG信号。为了减少身体运动、外部噪音和设备不适可能造成的干扰，我们指示受试者在观看VR视频时尽量不要移动身体和头部。尽管这可能会在一定程度上限制受试者的体验，但受试者仍处于与外界隔离的虚拟环境中，不会受到其他人或噪音的干扰。他们可以专注于情绪诱发实验。此外，为了获得干净和高质量的EEG信号用于频域特征提取，我们采用EEGLAB进行生理信号处理。EEGLAB是一个开源的Matlab工具箱，为EEG预处理、特征提取和情感识别提供了强大的算法。具体而言，我们在实验中采用了以下步骤：首先，将信号从512Hz降采样至128Hz，并重参考（乳突电极M1和M2）。第二，以4-47Hz的带通对信号进行滤波。第三，进行目视检查，以消除振幅超过±100（μν）的异常信号，因为振幅如此大的信号不再由认知活动引起。第四，我们采用独立分量分析（ICA），一种基于盲源分离的方法，在保留尽可能多的信息的同时去除伪迹。

对于EEG频率分析，采用Welch方法求其对应频段的功率谱密度(PSD)。使用256个采样点长度的汉宁窗，重叠128个点。汉宁窗可以改善矩形窗引起的谱失真。此外，进行基线校正。使用每个视频前5秒的固定阶段作为基线，并从试验功率中减去基线阶段的功率。最后，PSD值在θ频段（4-7 Hz）、α频段（7-13 Hz）、β频段（14-29 Hz）和γ频段（30-47 Hz）频带上平均。我们还计算了14对半球不对称电极的PSD之间的差异。14对电极的细节如表1所示。

表1 14对对称的电极

四、结果分析

4.1.SAM评分的分析

八个VR视频的V-A评分如下：

图6 VR的SAM评分结果

LALV：Nepal Earthquake Aftermath (唤醒：均值=4.4, 标准差=2.1; 效价：均值=3.1, 标准差=1.3; 支配：均值=5.4, 标准差=1.6)；Earthquake Site (唤醒：均值=4.8, 标准差=1.8; 效价：均值=3.2, 标准差=0.7; 支配：均值=5.4, 标准差=1.4)

HALV：Real Run (唤醒：均值=8.0, 标准差=2.7; 效价：均值=2.3, 标准差=0.3; 支配：均值=3.8, 标准差=1.2)；Conjuring 2 (唤醒：均值=8.2, 标准差=1.9; 效价：均值=2.0, 标准差=0.3；支配：均值=3.5, 标准差=1.0)

LAHV：Malaekahana Sunrise (唤醒：均值=4.1, 标准差=1.3; 效价：均值=6.7, 标准差=1.7; 支配：均值=7.0, 标准差=2.3)；Mountain Stillness (唤醒：均值=4.0, 标准差=0.9; 效价：均值=6.8, 标准差=2.1; 支配：均值=6.6, 标准差=2.0)

HAHV：Whale Encounter (唤醒：均值=7.4, 标准差=2.5; 效价：均值=6.6, 标准差=1.7; 支配：均值=5.4, 标准差=1.1)；Reef Migration (唤醒：均值=7.2, 标准差=1.6; 效价：均值=7.8, 标准差=2.1; 支配：均值=6.5, 标准差=1.3)

图7 各类情感的V-A-D均值

受试者可能会因为习惯或疲劳而混淆这三个量表。为了分析三个量表之间的相互关系，我们计算了它们的皮尔逊相关系数。从表2可以看出，结果表明支配维和效价维之间存在很强的正相关。然而，效价维和唤醒维之间的相关性非常弱。

表2 效价-唤醒-支配相关性分析结果(*=p<0.05)

4.2.IPQ评分的分析

如图8所示，高唤醒/低唤醒之间的参与度(INV)、现实感(REAL)和空间存在感(SP)的IPQ评分存在显著差异。具体而言，与LA视频刺激相比，HA视频刺激具有显著更高的INV（p<0.01）、REAL（p<0.01）和SP（p<0.05）。此外，我们发现HV和LV在这三个尺度上没有显著差异。

图8 各类情感的IPQ均值

4.3.存在感与唤醒维的关系分析

为了解释VR诱发HA的机制，我们在本节中分析了八个视频的SP、INV、REAL、效价维和唤醒维评分之间的相关性。我们计算了每个视频28个受试者的五个平均评分。然后，计算八个视频的平均评级的皮尔逊相关系数。结果如表3所示，效价维与INV（r=-0.143）、REAL（r=-0.167）和SP（r=-0.395）之间没有显著相关性。然而，唤醒维与INV（r=0.619）、REAL（r=1.643）和SP（r=2.826）之间存在很强的线性关系。如表3所示。

表3 效价维/唤醒维与INV/REAL/SP之间的相关性分析(*=p<0.05)

4.4 不同情感状态下的EEG功率分析

图9 HA/LA条件下的不同频段EEG功率分布

计算所有受试者在高唤醒和低唤醒情绪下每个通道的θ、α、β和γ的PSD。Shapiro-Wilk检验表明数据是正态分布的，因此我们使用配对t检验来比较不同情绪之间的功率分布。如图9所示，对于θ频段，LA情感在前额叶PSD高于HA。在α频段中，枕叶和顶叶对LA的激活程度高于HA。β频段中的LA在右侧颞叶的PSD高于HA。此外，未发现γ频段的HA/LA之间的差异。如图8所示。

图9 HV/LV条件下的不同频段EEG功率分布

配对t检验的结果表明，对于θ频段，顶叶对HV的激活程度高于。对于α频段，左额叶对于HV的激活程度高于LV。对于β频段，我们发现外侧颞叶对于HV的激活程度高于LV。类似地，对于γ频段，外侧颞叶对HV的激活程度高于LV。

表4 HA与LA之间和HV与LV之间存在显著差异的通道(*=p<0.05,**=p<0.01)

4.5 左右半球不对称效应的分析

图10 HA/LA和HV/LV的左右半球不对称效应分析

如图10所示，对于14对半球不对称电极，我们计算了不同情绪状态下，θ、α、β和γ频段的左右电极功率的显著差异。结果发现，FP1-FP2(α),T7-T8(β)在HV/LV差异显著，O1-O2(α)在HA/LA差异显著。

四、结论

VR具有强大的能力，能够使受试者产生高度的存在感，并以更自然、更真实的方式诱发真实情感，特别是对于HA。我们还建立了情感状态与相关脑区和PSD特征的关联图。在HA中，发现顶枕叶的α频段激活程度低于LA。HV比LV在颞叶具有更多的β和γ波活动。左右半球不对称性分析结果表明，前额叶区域的α波和颞叶区域的β波仅对HV激活度高。特别是，由于VR具有诱发HA的独特能力，我们发现枕叶的α波仅具有在HA条件下激活程度高的特性，这扩展了先前关于唤醒维的神经生理学的结论。该研究结合了EEG和自然沉浸式VR体验，为在更现实和自然的环境中研究人类情感打下了坚实的基础。

参考链接：

Neurophysiological and Subjective Analysis of VR Emotion Induction Paradigm

仅用于学术交流，若有侵权及疑问，请后台留言，管理员即时删侵！