【AIDL专栏】姚力：基于神经生理信息的智能交互与应用

一、神经生理信号中含有哪些信息

1.1 神经生理信号的采集

神经生理信号采集主要包括用磁共振仪采集磁共振信号以及用脑电设备采集脑电信号。磁共振信号的空间分辨率较高，功能像一般能达到2mm×4mm×4mm，但时间分辨率较低，一般为2s，而脑电信号的时间分辨率可以达到毫秒级。所以在一些任务中会同时采集功能磁共振和脑电信号，在时空上达到互补。此外还有一些便携的采集设备。

磁共振仪以及脑电采集设备

1.2 基于神经影像的老年痴呆的鉴别、预测与干预

下图为人脑正常老化过程、痴呆发展过程的曲线。Aging曲线是正常的老化过程；虚线为痴呆的发展曲线，分为三个阶段。第一个阶段是临床前期（Preclinical），行为上看不出明显的表现；第二个阶段是轻度认知障碍（MCI），其中大概有百分之六七十会导致老年痴呆（AD或称阿尔兹海默氏症）；第三个阶段就是痴呆（Dementia）。目前老年痴呆症还无有效治疗方法，但越早进行预测和干预，越有助于延缓病情进程。之前的诊断方法主要是临床心理学量表，但量表判断是主观的，且通过临床量表确诊，病情一定已经发展到晚期。一个亟待解决的问题是：如何进行老年痴呆的临床客观诊断，并能够早期预测。

横轴为年龄，纵轴为认知功能

• 基于神经影像学（PET、MRI）的AD研究

介绍诊断标准前先讲神经影像。神经影像有很多，包括MRI（磁共振）、PET（正电子发射型计算机断层显像）等，PET包括FDG-PET、PiB-PET等。在PET和MRI数据上容易找到和老年痴呆中、晚期相关的表现，相比心理学量表更加客观。

2011年，美国国家老年研究所和阿尔兹海默症协会提出了新的AD临床诊断建议标准，引入了PET、sMRI（结构性磁共振）以及认知行为的综合指标，开始了客观的诊断。更进一步的问题是如何寻找具有临床早期诊断意义的AD神经影像学标志。

• 总体研究框架

先看这个曲线图，横轴是时间轴，纵轴是异常程度。

最高的红色曲线是PET和CSF（脑脊液），当然我们的研究不涉及脑脊液，橙色曲线是FDG-PET和fMRI。这两条曲线在临床早期对异常状况已经有所区分，因此有可能找到PET和磁共振等神经影像中和早期老年痴呆有关的信息。

基于神经影像学的AD研究的总体框架

上图是基于神经影像学的AD研究的总体框架，采用了多种数据，如sMRI、fMRI、DTI（弥散张量成像）、PET以及一些心理学数据，数据的分析方法采用ICA、jICA、SSM-PCA等算法。最主要的目的就是通过不同的数据找到患病的标志。

• 一个例子—多模态数据的融合

有时靠一种影像不能完全找到准确的信息，需要采用多模态融合的方法。如上图，(a)组是MCI和NC（正常状况）的区分预测曲线，可以看到MRI、FDG-PET和florbetapir-PET三种数据融合的预测结果更准确。(b)组是pMCI和sMCI的区分预测，pMCI一定会发展为AD，但sMCI不会继续发展，可以看到采用多模态融合方法预测准确率有明显提升，具有很大的临床意义。

1.3 基于神经影像的视觉信息解码

• 背景

除临床诊断外，神经影像还有很多有趣的研究。比如是否说谎，在不同的脑区会有不同的表现。也有通过神经影像研究人的恋爱状态。

通过空间激活判断被试是否在说谎(2005, Neuroimage)

还有一类研究是和植物人患者交流。比如和正常人描述打网球场景，他的大脑有一部分区域被激活，给植物人同样的描述，发现他大脑的类似区域也在激活。可见植物人也能感受信息，所以也有植物人通过家人陪伴聊天恢复意识的案例。

基于神经影像的视觉信息解码也是一项特别重要的研究，包括分类（classification）、识别（identification）、重构（reconstruction）三大类。

分类：根据脑空间激活判断被试注视的物体的类别。人们早就发现人脸的识别区、地点的识别区等在大脑的不同区域，因此一个想法是，给出不同类图片的刺激，根据磁共振成像得到的大脑信号，解读出被试看到的是哪一类图片。

Haxby, 2001, Science

上图是《科学》杂志上一篇文章的实验结果，测试对人脸、椅子、鞋、猫等8类物品进行分类的正确率。测试区域主要分三种，第一种是全脑的颞叶，第二种是对物体刺激响应最强的最小区域，第三种是对物体刺激响应比较大的几个脑区。实验发现在不同的区域，最终分类判断正确率并没有本质差别，得出一个非常重要的结论：识别过程中人脸和物体在大脑颞叶的表示是分布的，甚至是互相交叠的，而不是特定区域识别特定物体。另一个启发是研究神经信号中包含的信息，不是越多越好，关键是要找到有用的信息。

识别：给被试看若干图片，通过脑信号分析出其最关注的的图片。2008年Kay等在《自然》杂志上发表的一篇文章中，通过Gabor小波变换建立了感受野模型，准确地判断出被试在上百张图片中究竟看的是哪张图片。眼睛看到图像会反映在大脑中，将相应的磁共振脑信号取出建立一个响应的模型。类似模式识别方法，对每一个图片建立一个大脑信号的响应关系，放到一个库中，对看到的图片进行对比来完成识别。

120张图片时该方法的识别准确率是92%，1000张图片时识别准确率是82%，明显下降，但相对还是比较高的。

重构：将看到的东西通过脑信息重构出来。最早是日本的一个研究组进行过相关实验，文章发表在Neuron上。实验结果如下图：

左侧第一行是呈现给被试的一系列图像，中间几行是根据不同被试脑信息的重构结果，最后一行是平均重构结果。这里也用到了多层局部解码器（Multi Local Decoder）等一系列算法。

所以在信息科学领域中，谈到医学影像、磁共振等，还可以和视觉信息编解码相联系。如果我们对大脑中视觉信息编解码能有更深入的了解，可能会对计算机视觉中的一些问题有更深刻的认识。

还有一种MVPA（multi-voxelpattern analysis）方法，完全是模式识别分析方法。通过磁共振成像得到人在观察瓶、鞋等物体时大脑中每个体素（voxel）信号的强弱，对这些体素信号进行特征刻画、特征提取和特征分类。

Norman,Polyn et al. 2006

• 研究实例

我们做的一个重点项目是“基于神经影像反演的三维图像重构”。与上文所述的重构不同，这里的视觉刺激是三维图像。将看到三维图像后大脑视觉区中的信号取出来，经计算机分析后，再将三维图像还原出来，其中包含编码和解码的过程。

二维和三维的主要差别是深度信息，深度信息主要由双目视差引起。我们的另一个重点项目是考察加工双目视差的神经机制，并建立双目视差的脑活动编解码模型。

这个项目是我们和天津大学的一个研究组合作完成的，首先克服的技术难点是获取三维的磁共振成像，并通过实验找到了加工视差深度信息的脑区。之后构建了解码方程，建立了深度信息与相应脑区激活程度的量化关系，其中d代表深度信息。现在这项工作虽然没有真正还原出三维信息，但已经有很大进步。

还有一个项目是“基于神经影像的立体舒适度神经机制研究”。大家都有观看3D影像时间长后感觉不适的体验，已有的神经影像研究可以在大脑中发现人是否感觉不适，但对3D的不适具体反映在哪个脑区尚不清楚，并且引起3D不适有多种原因，如何确定是哪一种，都是我们项目中的研究内容。这个项目2018年开始，目前想到的难点是实验设计，不仅要引发不适，还要区分不适是由长时间磁共振引起还是3D引起。这种精巧的实验设计为我们带来了很大挑战。

这个项目也涉及编解码问题，我们期望能够通过构建模型来预测出一个3D电影或视频等是否会引起不适，便于厂家做出相应调整。

以上项目基于磁共振成像，还有很多是基于脑电信号。我们的一个863项目是“基于脑电的目标检测”，具体做法是让被试默念一个物体，比如蝴蝶，并向被试展示100张图片，每张以0.2s的速度闪过，在这个快速闪过的过程中，通过脑电信号识别出被试看到的哪一张图片是蝴蝶。我们还使用国际的表情库做了一套表情识别系统，有八种表情，通过脑电信号识别出被试想看哪种表情。

基于脑电的目标检测

二、基于神经生理信息的智能交互

实时磁共振是2000年初提出的概念，现在技术已经实现。它能够将实时的磁共振信号反馈给被试，使其看到自己脑区的激活状况。当被试了解这个激活是由于自身的某种活动引起时，可以想办法使激活更强，于是磁共振信号和人的大脑感知之间就有了信息交互。这也称为神经反馈，将自己大脑活动的神经信号反馈给自己，并且是实时的。

实时功能磁共振成像的理论与关键技术

2004年Yoo等实现了基于fMRI的脑机接口，取上下左右不同脑区位置的功能磁共振信号，实现了控制光标走迷宫的任务。2009年三维的控制也实现了。这些研究体现了在智能信息交互上的进步。

下面探讨神经反馈最主要的作用。人的大脑具有可塑性，一些行为会影响大脑的活动情况，反过来如果改变大脑的一些状态，能否影响行为？比如注意力很好的时候，大脑某个部分激活，不断加强这种激活可否增强注意力？科学问题就是如何控制大脑的活动模式从而调节和改善人的感知或认知能力，包含了三个层次：脑激活状态能否通过神经反馈进行自我调节；脑区激活状态的改变能否导致行为改变；这些行为改变能否持续。

这样的研究对于医疗非常有价值，比较经典的研究是治疗神经性头痛。科学家发现神经性头痛在大脑某个区域的激活非常强，通过一些策略让被试将这个激活降下来，头痛就可以得到缓解。相应的文章因为某些原因最终撤稿，但这类研究没有停止，在抑郁、焦虑、烟瘾等方面都开展了通过神经反馈进行治疗和调节的研究。

我们实验室做了一个工作记忆调节项目。首先找到和工作记忆密切相关的脑区，之后通过一些策略使被试调高相应脑区的激活，比如倒背数字或更复杂的信息等。实验发现被试言语工作记忆行为显著提高，对于干预记忆力下降问题具有重要意义。

神经反馈训练对于提升学生的注意力和记忆力也很有帮助。研究表明采用基于脑电（EEG）的神经反馈训练，半个小时对注意力和记忆力的提升效果相当于传统行为训练7天的效果，效率很高。

基于脑电（EEG）的神经反馈研究

神经反馈还可用于脑状态的检测，比如通过脑电测试学生上课时的注意力与压力状况，得到学习的压力曲线，帮助提升课堂教学质量。

三、应用实例

我们正在做的一个应用是智能穿戴式的心理健康预警与干预。首先建立了这样一个模型，分别针对学生、学校和公共服务管理部门。

针对学生的测试分两类：一类是心理量表测试，测试学生的焦虑、抑郁程度、睡眠质量、压力状况等；另一类是认知能力测评，包括注意力、记忆力、灵活性、系统性等，主要通过游戏方式测评。老师和学校领导可以了解同学们的心理健康状况，教育部门通过这个平台也能够获得区域级的分析报告。这个应用中突出的技术是我们自己设计的HRV手环和头戴脑电采集设备，以及一些重要的人工智能技术，还包括压力、抑郁等的数字模型。整体是一个云平台的架构。

我们首先做了一个HRV手环在音乐放松中的应用。HRV是心率变异性，根据手环采集的心率变异的量，给用户放不同的音乐进行放松。我们进一步与VR相结合，在放音乐的同时配上蒲公英飞舞的VR影像，并根据HRV数据控制蒲公英的数量、飞行姿态和速度以达到放松状态。

我们还用脑电做了一个中小学生注意力提高训练，一个卡通的小猫在睡觉，训练者头戴一个脑电采集设备，只有注意力非常集中小猫才会醒，注意力一分散小猫就又睡了。通过这样一个交互反馈，训练注意力的提高。

还有一个潜在的应用是和之前的老年痴呆研究相结合，比如输入是一些临床诊断量表、影像数据、基因数据等，输出评估与干预方案、智能专家咨询，甚至能直接进行简单干预，这类应用也非常具有研究价值。