深度学习在静息态功能磁共振成像中的应用

对从人脑功能磁共振成像(fMRI)数据中获得的丰富的动态的时空变化特性进行建模是一项具有挑战性的任务。对大脑区域和连接水平进行分析为fMRI数据提供了更直接的生物学解释，并且到目前为止一直有助于描述大脑中的特征。在本文中作者假设，与之前研究广泛使用的预先进行的fMRI时变信息转换以及脑区之间的功能连接特征相比，直接在四维(4D)fMRI体素级别空间中进行时空特征的学习可以增强大脑表征的鉴别性。基于这个目的，作者对最近提出的结构MRI(sMRI)深度学习(DL)方法进行扩展，以额外获得时变信息和在预处理好的fMRI数据上对提出的4D深度学习模型进行训练。结果表明使用基于复杂的非线性函数的深度时空方法为学习任务生成具有鉴别性的编码，使用fMRI体素/脑区/功能连接特征对模型进行验证，发现本文方法的分类性能优于传统标准机器学习(SML)和DL方法，除了相对简单的集中趋势测量的fMRI数据的时间平均值。此外，作者探讨了不同方法识别fMRI特征的优劣，其中对于fMRI体素级别特征DL显著优于SML方法。总之作者的研究结果体现了在fMRI体素级别数据上训练的DL模型的效率和潜力，并强调了开发辅助工具的重要性，以促进对这种灵活模型的解释。本文发表在IEEE Engineering in Medicine & Biology Society (EMBC)

引言

大脑功能被认为是在空间中是单独存在的，也就是说，不同的功能往往与不同的大脑部位或不同的脑网络组合有关。基于血氧水平依赖(BOLD)的功能磁共振成像(fMRI)通过捕捉潜在的神经元活动升高引起的血流动力学和代谢后遗症引起的区域变化和时间变化来评估大脑功能。为了通过fMRI来理解大脑功能，彻底评估数据在空间和时间上获得的变化特性是至关重要的。

在脑区和连接水平上对大脑进行分析有助于对fMRI的生物学现象进行解释，并且迄今为止这两类分析一直有助于描述大脑中的特征。该领域中之前的工作通常是在空间和时间上使用几种独特的方法对fMRI数据进行降维。感兴趣区域(ROI)或基于图谱的方法，以及数据驱动的分割方法如组独立成分分析(gICA)，通常用于对fMRI数据降维，并发现大脑区域水平的任务鉴别性信息。这种分解可以识别一组大脑成分(即大脑体素的空间簇)以及相关活动的时间过程(ICA-TCs)。然后使用同步激活/不同步激活的简单的两两统计度量方法(例如皮尔逊相关性、相干性、互信息等)，这些方法也可作为功能连接(FC)不同的度量方法，通过这些方法可以在静态(sFC)或动态(dFC)上对ICA-TC进行评估。同样，一些基于时间特性的方法如：低频波动振幅(ALFF)、部分低频波动振幅(fALFF)、肯德尔一致性系数(KccReHo)、体素反射同伦连通性(VMHC)、度中心性(DC)、波动幅度百分比(PerAF)等，这些方法在提出保持体素维数的同时减少数据。

与上述有价值的fMRI特征相比，直接从四维(4D)fMRI空间识别生物标志物以建模丰富的动态时空变化可能是一项更复杂、计算要求更高的任务。探索这一目标的一个潜在方法是利用深度学习(DL)模型的灵活性，因为在过去几年中，这些模型已经在各种医学成像和基因组数据的应用中显示出了巨大的前景。然而，大多数基于DL的脑成像研究都使用的是预先处理好的特征(即整体衡量脑区或连接水平的特征)，而忽略了DL的基本优势--从原始体素空间进行表征学习。

作者最近的工作表明，在结构MRI(sMRI)数据的多个学习任务上，如果按照流行的DL方法进行训练，与SML（标准机器学习）方法相比，DL方法具有很好的扩展性和显著改进的潜力。作者举了一个例子，具体来说使用三维(3D)基于CNN的DL模型在体素空间上进行端到端训练，生成了优越的大脑表征以优于传统的标准机器学习(SML)方法。这种假设同样适用于BOLD fMRI数据--与广泛使用的fMRI时间转换特征如ALFF相比，直接在4D fMRI体素空间上进行时空学习可以发掘丰富的鉴别性大脑表征。

为了测试时空学习对fMRI数据的可行性和有效性，作者开发了一个样本4DDL模型(称为4DStL模型)，通过扩展作者之前提出的DL框架，预先添加一个额外的卷积层，以端到端方式获得时变特性。具体来说，作者在添加的卷积层中使用了1×1×1的核来识别时间描述符，而不改变之后卷积层的接受域。这一步将输入张量中的时间点维数减少为一个预定义的输出通道数，而端到端训练则保持最优的权值估计。作者在年龄回归任务中比较了不同方法的性能，其中结果目标是使得实际年龄和预测年龄之间的平均绝对误差(MAE)最小。图1描述了研究框架图。

图1. 研究框架图。这项研究使用一系列SML和DL方法，比较了不同方法在fMRI数据的几种时间特征、组ICA处理后的时间过程以及样本学习/回归任务的静态功能连接上的性能。

材料和方法

数据

该实验是基于未受影响的被试(n=12314)上进行的，这些被试(截至2019年4月7日共采集到22392名被试的fMRI数据，他们没有被诊断出精神疾病)来自英国生物样本库。英国生物样本库的研究方案得到了伦理和治安委员会的批准，所有参与英国生物样本库的研究的被试均获得了书面的知情同意

英国生物样本库的研究使用了西门子Skyra3T，运行VD12ASP4扫描仪和标准的西门子32通道射频接收线圈。梯度回波平面成像(GE-EPI)数据参数包括切片采集：分辨率：2.4×2.4×2.4mm，视野：88×88×64矩阵，持续时间：6分钟，TR为0.735s，TE为39ms(共490个时间点)。

fMRI数据预处理

本工作使用的英国生物样本库fMRI数据通过Melodic管道进行最小限度的预处理。该预处理的特点是使用MCFLIRT进行运动校正，通过单一乘法因子对整个4D数据集进行平均强度归一化，时间滤波(高斯加权最小二乘直线拟合，sigma=50.0s)，通过ICA+FIX去除结构化伪影。使用FMRIB的线性图像配准工具(FLIRT)将数据进一步配准到MNI EPI模板，然后归一化到SMP12的旧的归一化模块，并使用FWHM=6mm的高斯核进行平滑处理。12314名被试预处理后的fMRI图像包括490个体积为53×63×52的体素。

相对fMRI特征提取

在本研究中作者给出了关于fMRI数据的几种时间表征，如ICA-TC、sFC、ALFF、fALFF、KccReho、VMHC、DC和PerAF。预处理后的fMRI数据采用空间组约束ICA进行分解，使用神经标记模板划分脑区(n=53个脑区)以估计组ICA后的时间过程(ICA-TCs)。随后使用皮尔逊相关性计算ICA-TCs之间的相关系数从而得到sFC特征(n=1378条FC)，所有fMRI特征的性能均通过第II-E节中提到的SML（标准机器学习）和DL方法进行衡量。此外作者还计算了相对简单的时间特征(如fMRI数据的时间平均值--TMF)和离散度(如时间标准差--TSF)，以及它们的混合特征(TMSF)对之前的工作进行了评估。特征提取是消除冗余特征、提高SML方法性能不可缺少的步骤。因此，作者使用高斯随机投影(GRP)、递归特征估计(RFE)和单变量特征选择等方法对所有体素级别特征(即除了sFC)降维(n=1000)。

时空DL模型

值得注意的是，用快速TR(0.735s)全脑英国生物样本库数据进行实验对应于训练大量的3D体素(n=490)，因此即使对于中等数量的批处理(例如n=16名被试)，也是一个计算要求很高的任务。为了解决这一问题，作者使用15个时间点的分段聚合近似(PAA)对fMRI数据集进行平滑，从而有效地减少数据数量(从n=490到n=32个样本)，并保留了重要的时间信息。作者在平滑后的数据上训练4DStL模型，并在其最重要的卷积层中使用1×1×1的核来捕获时变特性。这一步骤允许在不改变后续卷积层接受域的情况下，识别出预定义数量的输出通道(n=3)的时间描述符，从而通过提出的4DStL模型进行时空学习以重新使用已验证的3DDL模型。因此，该模型采用了一个3C-64C-128C-192C-192C-128C的卷积层，其中这些数字表示给定卷积层的通道数量。

比较SML（标准机器学习）和三维DL模型

作者使用三种SML模型--弹性网(EN)、基于核方法的岭回归(KRR)和随机森林(RF)集成学习，以及一个合适的DL模型作为4DStL模型需要对比的方法。具体来说，作者使用最近提出的3D-CNN DL模型来学习所有体素级别的时间特征，使用双层双向长短期记忆(LSTM)模型学习ICA-TC以及使用graph-CNN模型学习sFC特征。这三个SML和DL模型是使用python中的scikit-learn库实现的。此外，本文工作中使用的3D-CNN DL模型是AlexNet架构(64C-128C-192C-128C)的3D-CNN变体，通过将最终完全连接层的输出节点减少到一个标准回归因子（vanilla regressor）。

交叉验证和调参

这项工作中的所有分析都是在一个标准的、重复的(n=5)、分层交叉验证(CV)程序中进行评估的。通过使用python中的hypopt包以进行网格搜索策略从而对SML模型进行了超参数调优。对于KRR方法，超参数网格被扩展为核映射函数(线性核/多项式核等)，正则化参数的范围为([10-3,10-2,10-1,1])，核映射函数中的gamma参数(范围为[−4,2])。对于RF方法，森林中树的数量(在[100,200]范围内均匀采样的5个值)、每次拆分时考虑的最大特征数(选为平方根或对数)、拆分内部节点所需的最小样本数(2、5或10)、叶子节点(1、2或4)和指引符(行/不行)都被视为超参数。对于EN回归方法，将调优参数alpha乘以惩罚项(在[10-1、10-2、10-3、10-4、10-5、10-6]范围内)和凸组合惩罚参数(在[0,1]范围内均匀采样的10个值)也视为超参数。

此外，对于3D CNN DL模型，作者使用的批量大小为16，初始学习率设置为10-2并通过在[10-1,10-2,10-3,10-4,10-5,10-6]范围内进行调优。采用学习率调度器回调将验证精度度量的稳定学习率降低0.5倍，并使用MSE作为损失函数。在衡量MAE时设置提前停止机制，即迭代40个epoch停止训练，以减少过拟合和得到更低的泛化误差。MAE度量时也设置提前停止机制以优化测试MAE，从而可以与之前工作直接进行比较。两层双向LSTM模型和graph-CNN均使用了Adam优化器，并对学习率在[5×10-2,10-2,5×10-3,10-3,10-4]范围内和对批量大小在(16,32,64,128)范围内进行了调整。此外，对于LSTM模型，隐藏层大小在(32,64,128,256)范围内进行了调整。DL架构的训练和测试均在NVIDIA CUDA并行计算平台上实现的，使用GPU加速NVIDIA CUDA工具包(CUDA)并调用了CUDA深度神经网络(cudnn)包和Pytorch库。

结果

DL方法的性能

作者评估了所有特征和模型的实际年龄和预测年龄之间的MAE、相关系数和决定系数(R2)回归得分。图2说明了DL与SML在fMRI数据的年龄回归任务上具有一定的优势。4D时空学习模型(4DStL)得到的MAE为3.54(年)，相关系数(r)为0.81和R2值为0.65，除fMRI数据的时间平均值外，在所有时间特征上的性能均有显著提高(TMF：MAE=3.48，r=0.82，R2=0.66)，当这个测量值被叠加为时间标准差时结果为TMSF：MAE=3.45，r=0.82，R2=0.66。此外，3DDL模型相比其他三个SML方法的性能在所有其他时间特征上得到的MAE最小(MAEALFF=4.36，MAEfALFF=4.52，MAEDC=5.00，MAEKccReHo=4.58，MAEVMHC=4.78，MAETSF=4.45，MAEVMHC=4.78)以及ICA-TC(MAEICA-TC=4.66)和sFC特征(MAESFC=4.8)。值得注意的是，仅在TMF、TSF、TMSF、ALFF、fALFF、PerAF和ICA-TC特征上，SML方法和DL方法之间的性能差异很显著(p<0.005)。

图2. 年龄回归任务的性能比较。

采用4DStL方法直接对4DfMRI数据进行时空深度学习。为了更好地与其他方法进行比较，作者从预处理后的fMRI数据中计算出不同的时间特征(ALFF、fALFF、DC、KccReHo、VMHC、PerAF、TMF、TMS、TMSF、ICA-TC和sFC)。使用MAE、相关系数(r)和决定系数(R2)回归度量，对整个SML和DL的所有方法在所有特征上进行了交叉验证。4DStL模型在预处理后的fMRI数据上测试数据的MAE和3D DL模型在TMF特征上的MAE最小。

SML模型的性能变化趋势

使用SML方法对所有fMRI特征进行验证，使用KR（岭回归 ）SML方法在GRP特征上进行学习时获得最佳性能(MAE=3.78年，r=0.78，R2=0.60)，其次是使用EN（弹性网） SML方法在GRP特征上进行学习时获得次优性能(MAE=3.91年，r=0.75，R2=0.57)。总的来说，总的来说，当在所有时间特征上比较SML方法的性能时，EN和KR在 GRP和RFE特征上总能取得最好的性能，因此也表明UFS和RF对降维的影响较低。

图3. 由4D 4DStL(深度时空)模型对预处理fMRI数据(上)和3DDL模型在TMF特征(下)上编码的表示的非线性嵌入投影图。

4DStL模型：嵌入和网络权重

如果DL模型确实能学习到对大脑进行合理编码的表征，那么在更深层(例如最后一个卷积层)的编码必须是可以说明承担每个学习任务的投影。图3显示了由4DSTL模型对预处理的fMRI数据(上)编码的fMRI数据表示的非线性嵌入以及利用tSNE框架估计的TMF特征上的三维DL模型(下)。显然，除了一些异常值外，被试的年龄从一端到另一端都在不断增长，从而证实了这些任务区分表征对两种表现最好的情况都是有意义的。

此外，图4还介绍了四维时空DL模型的第一卷积层的滤波器权值。在此图中，列(行)表示32个输入(输出)通道。该模型的滤波器权重在不同输出时间通道上的不均匀分布意味着该模型没有经过简单的训练，并且该流程可能会潜在地发现fMRI数据提供的时间信息。

图4. 4DStL(深度时空)模型的第一个卷积层具有不同的滤波器权值。这种在时间通道上的不均匀分布表明，该模型可以发现fMRI数据中的时间信息。

讨论

本文工作系统地比较了几种SML方法和DL方法在多项fMRI时间特征上的回归性能和直接使用端到端深度时空学习模型在4DfMRI数据上的性能。作者发现除了fMRI数据的时间平均值(TMF)外，与fMRI特征相比，本文使用的4DSTL模型显著优于文中提到的SML方法和DL方法。这一结果表明4DStL方法可以学习到重要的时空信息，并在类似于TMF特征上严格地保持体素之间的关系。重要的是，TMF特征的匹配性能并不一定意味着缺乏有意义的时间信息并且在体素水平的fMRI模式上有几种测试4DStL模型的方法会被调整。相反，这一特殊的结果进一步证实了空间和解剖学之间的相互关系以及这种关系在年龄回归任务方面的优势，并且保留这种信息可能比学习任务中数据的时间维数更加重要。

作者还注意到4DStL模型会有一些缺点，包括：

(a)时间维度上通过PAA方法对fMRI数据进行降维(即从490维降维到32维)；

(b)在第一个3D卷积层中使用1×1×1的核突然地减少数据时间的维度(即从32降维到3)；

(c) 只与使用多个层逐步减少数据相比，只设计一层。所以探索上述潜在的局限性是今后的研究方向。然而，从目前的研究结果表明，4DStL模型还可以允许时域内的内省，这一现象可以解释所有数据层(即体素、脑区和连接层)fMRI数据的基本属性。

最后，虽然4DStL框架基于CNN模型，这无疑是一个更成熟和更具监督性的DL模型，研究其他灵活的监督/半监督/无监督DL模型，或者像CNN和RNN这样的合理组合(例如以端到端的方式顺序学习数据的空间和时间属性)可能同样很有趣。作者认为，这一方向的研究应该以识别深度时空模型为目标，这些模型将优秀的表征学习能力和生物可解释性相结合。

结论

这项工作的结果支持了DL模型在预处理的fMRI数据上端到端可训练的效率和潜力，并强调了开发辅助工具来解释这种灵活的模型的重要性。总的来说，这些结论鼓励在以后的研究中设计灵活的DL模型以直接在fMRI四维空间进行时空学习，最终的目的是促进fMRI模式的丰富特征，以解释所有数据层(即体素、脑区和连接水平)中的重要神经成像标志物为目标。