从黑盒到玻璃盒：fMRI中深度可解释的动态有向连接

1. 摘要

大脑网络的交互作用通常通过功能（网络）连接来评估，并被捕获为皮尔逊相关系数的无向矩阵。功能连接可以表示静态和动态关系，但这些关系通常使用固定的数据窗口选择来建模。或者，深度学习模型可以根据模型体系结构和训练任务灵活地从相同的数据中学习各种表示。然而，由深度学习模型产生的表示通常很难解释，并且需要额外的事后方法，例如，显著性映射。在这项工作中，我们整合了深度学习和功能连接方法的优势，同时也减轻了它们的弱点。考虑到可解释性，我们提出了一个深度学习架构，它反映了一个有向图层，它代表了模型所了解到的关于相关大脑连接的知识。这种结构可解释性的一个令人惊讶的好处是，显著提高了鉴别对照组、精神分裂症、自闭症和痴呆患者的准确性，以及从功能MRI数据中对年龄和性别的预测。我们还解决了动态有向估计的窗口大小选择问题，因为我们从数据中估计窗口函数，捕获了在每个时间点估计图所需的东西。我们展示了我们的方法与多个现有模型相比，它们的有效性，而不是我们以可解释性为重点的架构。使用相同的数据，但在他们自己的分类任务上训练不同的模型，我们能够估计每个被试的特定任务的有向连接矩阵。结果表明，与标准的动态功能连接模型相比，该方法对混淆因素具有更强的鲁棒性。我们的模型捕获的动态模式是自然可解释的，因为它们突出了信号中对预测最重要的信号间隔。该方法表明，感觉运动网络和默认模式网络之间的连接差异是痴呆症和性别的一个重要指标。网络之间的连接障碍，特别是感觉运动和视觉之间的连接障碍，与精神分裂症患者有关，然而，与健康对照组相比，精神分裂症患者表现出更高的默认模式网络内的功能连接。感觉运动网络的连接对痴呆和精神分裂症的预测都很重要，但精神分裂症更多地与网络之间的连接障碍相关，而痴呆生物标记物主要是网络内的连接。

2. 引言

功能连接已成为理解大脑功能结构的一种很有前途的工具，并已被广泛使用。大脑功能连接的中断通常与患者行为中明显的大脑疾病有关。例如，精神分裂症患者脑网络之间存在高度的功能连接障碍，并表现出跨多个脑网络的动态连接异常。阿尔茨海默病（AD）也被认为会破坏大脑动力学，导致广泛的认知功能障碍。

大脑疾病与异常的静态或动态功能连接之间的联系强调了开发能够识别特定疾病的连接异常的模型的必要性。该领域的结果指导了各种大脑连接分析方法的发展。然而，在大多数现有的方法中，功能连接矩阵并不是由预测任务决定的，而是在训练之前进行估计的；因此，它们完全依赖于所选择的数据样本的输入窗口。独立于下游任务导致对连接矩阵的不灵活估计，因为无论任务是预测大脑障碍、年龄或其他数量，估计都是不变的。Kim等人提出了一种基于学习到的数据表示来计算功能连通性结构的方法，但即使是这种方法也缺乏一种可学习的功能连接估计方法。我们认为，任务依赖的连接矩阵可以通过使用可学习权重的深度学习（DL）模型来估计。DL模型非常灵活，它们可以基于训练中使用的架构和真实信号，从相同的数据中学习各种表示形式。

然而，在训练过程中，如果不存在真值图，使用DL方法来估计连接矩阵是具有挑战性的。许多DL模型的另一个问题是学习到的表征缺乏一致性和可解释性。常用于解决这些模型可解释性的显著性图可能变得难以解释。可以说，解释表征的困难是为什么使用DL模型的研究采用不灵活但可解释的特征选择步骤的原因，例如皮尔逊相关系数（PCC）。

在当前的大多数研究中，功能连接估计要么是静态的，要么是根据窗口大小和步幅。由于无法捕获非平稳性，静态矩阵就错过了关于动力学的基本信息。例如，动态功能连接估计显示重复出现的模式，无法被静态对应捕获。使用静态图学习方法来捕获动态系统可能会降低分类性能。Kipf等人通过在测试期间动态地重新评估学习到的静态图，显示了改进的结果。相关任务的改进性能是可以理解的，因为动态连接提供了关于系统的基本信息，例如，捕获重复发生的模式。大脑的功能活动也被认为是高度动态的，因此不能用静态或甚至基于窗口的方法忠实地捕获。

此外，使用功能连接来测量大脑区域或网络之间的连接的研究并没有捕捉到交互作用的方向，而只测量无向统计依赖性，如相关性、相干性或转移熵。相关性的产生有很多原因；例如，当一个未被观察到的网络影响被观察到的两个网络时，由于一个共同的原因。可以说，大脑网络之间相互作用的动态已经超出了简单的相关性，而相关性可能只能部分地描述它。然而，有效连接是一种更普遍的方式来表示大脑内在网络之间的动态和定向关系。正如Friston所介绍的那样，有效连接属于一个基于模型的方法类，而此后已经开发了多种其他方法，包括那些在无模型类中的方法。

像这些方法，估计大脑网络的连接是1)定向，2)可解释，3)灵活，和4)动态，我们开发了一种方法称为定向瞬时连接估计器（DICE）：预测模型估计大脑网络之间的动态有向连接，表示为一个动态变化的有向图预测下游二进制标签。我们的模型可以被归入无模型连接方法的类别，因为它不建模数据生成过程。我们遵从于对DICE估计的图使用“有向（网络）连接”（D (N)C）的方法。

与现有的有监督的DL模型通常会产生难以解释的表示不同，我们在设计模型时主要考虑到了可解释性。我们的模型揭示了它在没有使用事后可解释性方法的情况下所了解到的关于大脑网络连接的动态信息。实际上，我们在传统的“黑盒”DL模型中建立了一个“玻璃盒”层。与常用的隐藏层相比，“玻璃盒”层传播一个有向图的加权邻接矩阵，确保它在分类任务的上下文中是可解释的。因此，通过基于任务估计DC，并仅使用估计的连接结构进行分类，我们的模型学习捕获与任务相关的网络及其连接，从而对可解释的DC进行灵活的估计。通过即时估计DC的瞬时性（窗口大小的为 1），DICE消除了在许多动态连接研究中使用的窗口大小参数的需要。

为了彻底验证DICE的表现，我们在四个神经成像数据集上进行了一系列的实验，这些数据集跨越了三种疾病（精神分裂症、自闭症和痴呆症），并涵盖了广泛的年龄范围。我们对这些大脑疾病的分类任务、年龄预测和性别分类进行训练，并分析“玻璃盒”层的结果DC。令人惊讶的是，我们有意关注稳定的可解释结果，对DICE的预测性能有增强的副作用。正如我们所展示的，该模型的预测效果更好，或与最先进的方法相当，这些方法开发的重点是分类性能，而不是可解释性。我们表明，当学习根据特定的标准对受试者进行分类时，DICE估计了特定于该标准的可解释DC。对于性别和精神障碍的分类，习得的树突状细胞强调的子图分别是性别和精神障碍的区别。我们还证明，DICE通过增强与训练信号相关的网络的连通性，学习与痴呆、性别和年龄预测不同的可解释树突状细胞。我们对直流结构的灵活估计推进了Salehi等人的研究结果，该结果表明，个体的功能包裹边界基于认知状态而变化。我们展示了增加的效用，以增加可解释的组差异的精度。因此，DICE在fMRI动力学中可以解决比在典型的动态功能网络连接分析中可以解决的更多的状态。此外，DICE还包含了一个时间注意模块，突出了与任务相关的关键时间步长，进一步改进了对动态预测的解释。在随机种子点试验中，学习到的DC结构和时间注意权重是稳定和一致的。

3. 材料和方法

3.1 材料

我们使用静息态功能磁共振成像（rsfMRI）数据作为我们的模型的输入。功能磁共振成像测量血氧合水平依赖性（BOLD）信号，它捕获了大脑随时间变化的功能活动。我们通过对三种不同的大脑疾病进行分类来测试我们的模型，从而预测被试的性别和年龄。对于每种大脑疾病，我们对健康对照组（HC）和患者进行了二元分类。本研究中使用的四个数据集收集来自FBIRN(功能生物医学信息学研究网络)项目，来自遵守（自闭症脑成像数据交换）和OASIS第3.0版（成像研究开放获取系列）。来自HCP（人类连接体项目）的健康对照被试被用于性别预测。有关数据集的详细信息，请见表1。

表1. 所使用的数据集的详细信息。我们在实验中尝试了不同数量的测试折叠，但这对结果没有显著影响。时间点是数据集中每个被试的时间点的数量。

图片

3.1.1 预处理

我们使用了两种典型的大脑分割技术；基于预定义的图谱的独立成分分析（ICA）和感兴趣区域（ROI）。使用的预处理管道取决于分割技术和数据集最先进的研究中使用的管道。所有的预处理都是在训练模型之前完成的。

ICA分割：对于所有使用ICA作为脑分割技术进行的实验，在MATLAB 2021环境下，使用统计参数映射（SPM12，http://www.fil.ion.ucl.ac.uk/spm/）对fMRI数据进行预处理。进行刚体头动校正，以校正被试的头部运动，然后进行扫描层的时间校正，以考虑扫描层采集中的时间差异。随后，使用回波平面成像（EPI）模板将fMRI数据扭曲到标准的蒙特利尔神经学研究所（MNI）空间，并略微重新采样到3×3×3 mm3各向同性体素。然后使用最大半高全宽（FWHM）为6 mm的高斯核对重新采样的fMRI图像进行平滑处理。

如果被试的头部运动≤3◦和≤3 mm，并且功能数据提供了接近全脑的标准化化，则被选择进行进一步分析。使用Fu等人中描述的一种新型全自动神经标记管道“neuromark_fmri_1.0”4估计了100个ICA组件。该方法能够捕获在被试、数据集和研究之间具有可比性的稳健成像特征，这有利于那些需要复制的研究。神经标记框架利用了一种自适应ICA技术，可以自动估计跨被试、数据集和研究的可比性大脑标记。以一组组件模板作为参考，指导对数据的单扫描组件的估计。这些组件模板是通过一个统一的ICA管道创建的。他们是使用一个独立的静息态功能磁共振成像数据构建的，并使用来自基因组学超结构项目（GSP）的健康受试者的大样本。GSP数据包括1005名被试的扫描结果。对GSP数据进行高模型阶（100阶）组ICA，然后以GSP数据中的独立成分（ICs）作为参考，提取本研究中用于实验的每个数据集的成分。神经标记框架分别提取每个被试的成分，这意味着对每个被试特征的特征估计不受其他成分的影响。然而，组件的选择(和组件的数量)会影响准确性，但我们的研究不是关注确定IC的最佳数量，而是使用可用的组件，让模型决定任务依赖的组件。

区域分割：最先进的方法对不同的数据集使用不同的预处理管道。为了与这些方法在HCP、ABIDE和FBIRN数据集上进行比较，我们选择了与相关比较方法相同的预处理管道。我们使用HCP数据，该数据首先按照Glasser等人描述的管道进行最低限度的预处理。预处理包括梯度失真校正、运动校正和场图预处理，然后对T1加权图像进行配准。然后将注册的EPI图像归一化到标准的MNI152空间。为了减少数据中的噪声，采用了基于FIX-ICA的去噪。为了尽量减少头部运动的影响，被试在任何扫描时进行框架位移（FD）超过0.3mm的扫描。FD采用FSL的FSL运动异常值函数计算。用FD过滤出的152次扫描被丢弃，只剩下942次扫描。在所有的实验中，都使用了在S1200下释放的HCP被试的扫描结果。使用C-PAC对遵守进行了预处理。预处理包括：时间层校正、头动校正、颅骨剥离、全局平均强度标准化、噪音信号回归、带通滤波，最后将功能图像注册到解剖空间（MNI12）。在使用C-PAC进行预处理后，从1112名被试中选择871名，由3位专家检查，寻找扫描仪产生的大脑覆盖率、高运动峰值和其他伪影。为了对FBIRN数据进行预处理，我们使用了SPM12管道，但只使用了一些额外的步骤。使用高斯核进行平滑后，用有限脉冲响应（FIR）带通滤波器（0.01 Hz-0.15 Hz）对功能图像进行时间滤波。然后对每个体素，对6个刚体头部运动参数、白质（WM）信号和脑脊液（脑脊液）信号进行线性回归。

我们使用了两种图谱进行大脑分割；Schaefer等人和哈佛牛津（HO）分别为200个和111个区域。对于每个区域，计算位于一个区域内的所有体素的平均值，从而得到每个区域的单个时间序列。将数据划分为区域后，每个时间序列通过其均值为0和单位方差为1的z-score进行标准化。

3.2 方法

我们的DICE模型接收ICA组件或ROI的时间过程表示为矩阵大小𝑁∗𝑇（组件的数量/ROI∗时间点数）和学习一组𝑇有向图代表动态DC或DNC空间组件（例如，基于ICA的空间组件，地区从一个图集），我们指定为节点的图通过预测二进制标签。让𝐺表示一组图，其中𝐺={𝑔1，𝑔2，...，𝑔𝑇}，其中𝑇是时间点，和𝑔𝑡=（𝑉𝑡，𝐸𝑡），其中，𝑉𝑡和𝐸𝑡表示在时间点𝑡上出现的节点和边。为了创建图𝑔𝑡，我们首先使用双向长短期记忆（biLSTM）模块来创建时间𝑡时节点𝑖的嵌入𝐡𝑖𝑡。然后，我们使用一个自我注意模块，它在每次𝑡时接受所有这些嵌入，并在节点之间创建一个权重矩阵，从而提供每个时间点节点之间的DC（图）。为了创建一个用于下游分类的最终图𝐺𝑓，我们使用了一个时间注意模型，该模型为每个𝑔𝑡分配一个权重，并计算集合𝐺的加权和。我们将在下面的章节中详细解释每个模块的工作原理和目的。图1显示了完整的体系结构。

图片

图1. 使用biLSTM、自我注意和时间注意的DICE架构。我们在每个时间点所有组件/节点的嵌入之间的自关注来估计DC 𝐖𝑖。时间注意用于创建𝑇DC的加权和。时间注意度的体系结构细节如图2所示。

3.2.1 biLSTM

节点𝑖在𝑡时刻的时间点值𝑥𝑖𝑡可以受到许多不同的因素和关系的影响。捕获这些关系可以提高模型的可解释性，并提高下游的分类性能。在一个时间序列（fMRI数据）中，其中一个因素是时间点的数据/数据𝑥𝑖1…𝑡−1。在fMRI数据中，这种关系是未知的，很难捕获，因此不能使用固定的方法/公式进行计算。a)功能磁共振成像数据的低时间分辨率和b)时间点的影响在时间序列中仍不清楚，这进一步增加了难度。这些影响对每个主题都是不同的，甚至可以在同一主题的节点之间有所不同。LSTM已经被证明对时间序列/序列数据非常有效，在这些数据中，模型从时间点𝑡的序列中获取输入，并为当前创建表示，并基于以前时间点的表示预测未来时间过程的表示。LSTM通过单元格的记忆和忘记门来学习数据之间的时间关系。这些门在数据和下游任务上进行了优化，数据之间的关系被学习而不是计算。LSTM的工作可以用以下一组方程来解释。𝜎代表乙型激活，⊙是Hadamards算子。

图片

在上述方程中，𝐢𝑡、𝐟𝑡和𝐨𝑡分别表示𝑡时刻处的输入门、遗忘门和输出门。𝐜𝑡表示单元状态（内存），𝐠𝑡表示单元状态的候选状态，𝐡𝑡表示𝑡.处输入的表示/嵌入，𝐖𝑖𝑥和𝐖ℎ𝑥表示各自门𝑥∈{𝑖-输入、𝑓-weter，𝑜-输出}的输入和隐藏向量的权重。类似地，𝑏𝑖𝑥，𝑏ℎ𝑥是各自的门𝑥∈{𝑖，𝑓，𝑜}的偏差。我们使用biLSTM为每个节点𝑖创建表示𝐡𝑡。因此，𝐡𝑓𝑡=𝐿𝑆𝑇𝑀（𝐱𝑡，𝐡𝑡−1）、𝐡𝑏𝑡=𝐿𝑆𝑇𝑀（𝐱𝑡，𝐡𝑡+1）和𝐡𝑡 = concatenate（𝐡𝑓𝑡，𝐡𝑏𝑡）。在这里，𝐡𝑓𝑡和𝐡𝑏𝑡是正向传递和向后传递的表示。我们对每个节点（组件/区域）分别使用LSTM，在节点之间共享LSTM的权重。如公式1所示，LSTM通常在每一步取一个向量𝐱𝑡作为输入，但是，我们给出𝑥𝑖𝑡（标量值）和隐藏向量一起输入到LSTM，并在时间点𝑡接收节点𝑖的𝐡𝑖𝑡，这解决了动态FNC研究中发生的窗口大小问题。为了使它更容易理解，我们可以假设在我们的模型中，窗口大小为1。这允许我们稍后立即计算每个时间点节点之间的连通性矩阵（连接/边）。biLSTM分别接收每个组件/区域的时间值，但共享跨区域的权重矩阵。这允许biLSTM通过查看多个节点来学习时间连接，但不学习节点之间的空间依赖关系。

3.2.2 自注意力

图中的一个节点可以与其他节点连接，并表示为它们之间的边缘连接。节点之间的连接会影响某一时间点的节点（𝑥𝑖𝑡）的值。因此，测量节点之间的连接对于图的构造和解释是很重要的。在我们的功能磁共振成像数据中，每个𝑥𝑖都是一个大脑区域/组成部分，捕获节点之间的DC或DNC显示了大脑网络是如何相互连接的，以及大脑网络之间信息流动的方向。这些估计的矩阵可以用来解释大脑工作和大脑紊乱。大脑区域之间的连接独立于结构连接，因此是未知的。为了捕捉大脑区域之间的定向连接，我们使用了一个自我注意模块。

自我注意模块捕获一个序列的𝑛输入之间的权重。由于在动态系统（大脑网络）中，节点之间的连接可能在任何情况下都会发生变化，因此，在每个时间点𝑡，我们传递一系列𝑛向量𝐡1𝑡…𝐡𝑛𝑡，𝑛为总节点，作为自注意模块的输入，并创建权重矩阵𝐖𝑡，其中每个𝐖𝑡∈ℝ𝑛∗𝑛是时间点𝑡输入节点的连通性权重矩阵。自我注意模块创建三个嵌入，即key（𝐤）、value（𝐯）和query（𝐪），并使用这些嵌入为每个输入创建新的嵌入。下面的一组公式可以总结出整个过程。为简单起见，我们从这些方程中省略了𝑡。⊺表示转移项，⊕表示连接。

图片

这里的𝐖∈ℝ𝑛∗𝑛是图中𝑛个节点之间的连接矩阵。大脑疾病与中断大脑的内在网络，我们只使用我们学习定向连接矩阵𝐖下游分类而不是功能，从而迫使模型估计两个分类之间的差异连接组（例如，HC和病人）。当DICE被调整为估计被试组的DC或DNC并输出它时，DICE捕获并显示下游分类的基础。由模型估计的直流或DNC可以很容易地表示为一个非常容易解释的图。自注意的玻璃盒层显示了任务依赖的节点（大脑区域）和它们的连接。

表示时间过程的特性用于学习/估计DC或DNC结构。由于真正的连接/图结构在许多应用程序中都无法直接进行比较，我们提出，一个导致最先进的分类性能的连接矩阵使其比使用表示/嵌入进行分类更可靠。

3.2.3 时间注意模块

因为我们只使用由模型学习到的连接矩阵来进行下游分类。为此，我们需要创建一个基于𝑊1−𝑇矩阵的单个权值矩阵𝑊𝑓。对于下游分类任务，并不是所有的时间点都同样重要，因此合并一个时间注意模块是至关重要的，它为每个𝐖𝑡分配权重，并计算所有权重矩阵的加权平均值。我们引入了一种新的时间注意模块，我们称为全局时间注意（GTA）。

GTA：为了给注意力模块一个图的全局视图，我们提出了GTA。全局视图允许模型了解每个DC如何对下游任务中数据的全局图或结构的贡献。我们创建了所有𝑇DC的平均值，并称之为𝐖𝑔𝑙𝑜𝑏𝑎𝑙，表示全局视图。

图片

这里的⊙是矩阵之间的Hadamard乘积算子。𝐖𝑓的计算方法为：

图片

然后，我们比较每个局部𝐖𝑡与全局视图的相似性，并使用它们来创建时间注意向量𝜶。图2显示了体系结构的细节。

图片

图2. 用于时间注意模块的GTA架构。𝐖1−𝑇矩阵被求和以创建𝐖𝑔𝑙𝑜𝑏𝑎𝑙。使用𝐖𝑔𝑙𝑜𝑏𝑎𝑙和𝐖𝑖为每个时间点创建注意力评分𝛼𝑖。工作细节见公式3和4。这里𝑓表示平均函数。

4. 实验

为了测试DICE是否完成了所有的目标，我们通过对三种大脑疾病进行分类，进行了详细的实验，对HCP和OASIS被试的男性和女性群体进行分类，并预测OASIS被试的年龄。我们使用ICA时间过程对所有数据集进行实验，并使用基于区域的（ROI）数据对FBIRN、ABIDE和HCP数据进行实验。在本文中，我们将在全脑水平上捕获网络之间的功能连接的矩阵称为功能网络连接（FNC），以及在ROI上操作时称为FC。我们报告了所有试验的平均结果。根据实验结果，我们将我们的分类结果与最先进的DL方法和ML方法（支持向量机进行了比较。为了避免任何差异，我们直接从已发表的研究中报告DL方法的结果，尽管一些研究使用测试数据而不是验证数据来选择表现最好的模型/参数。

为了展示我们的模型的有效性，我们将我们的结果分为三类。在下面的章节中，我们将展示a)我们的模型的分类性能，b)学习到的DC和DNC，以及c)时间注意模块的影响。

4.1 分类

图3显示了我们的模型使用ICA数据的分类性能，表2显示了FBIRN和HCP使用基于区域（ROI）数据的性能，表3显示了基于ABIDE区域（ROI）数据的结果。

图片

图3. 使用四种不同方法以及使用ICA时间过程的四个不同数据集。我们的方法明显优于SOTA方法。我们还对869名被试（所有的TRs）进行了自闭症的实验。由于我们没有预训练步骤，所以我们与未预训练（NPT）版本的MILC和STDIM进行比较。对ML方法的输入是相同的ICA时间过程，而不是FNC矩阵。我们没有发现任何使用ICA成分作为使用基于ROIs的数据的显著方法对HCP进行性别分类的显著研究。我们使用表2中的ROI来比较结果。

表2. DICE与其他DL方法对HCP和FBIRN数据集的基于区域（ROIs）数据的分类性能比较。我们的DICE模型在几乎所有度量指标上都优于所有其他方法。

图片

表3. 基于ABIDE的区域（ROI）数据集的AUC评分比较。现有的方法使用哈佛牛津（HO）分割的111个大脑区域，因此我们使用两个图谱测试了DICE。我们表明，DICE模型不依赖于区域图谱，并使用不同的图谱对大脑的区域分割给出了相似的性能。

图片

当使用相似的输入数据（fMRI）时，我们的模型在所有数据集的ICA和基于区域（ROI）fMRI数据的几乎所有指标上都优于本研究中用于比较的所有最先进的方法。由于我们的模型没有使用关于受试者的表型信息，因此它缺乏背后的因素。Parisot等人通过使用不同的表型信息，降低了大约2.5的 AUC，清楚地显示了对表型数据的依赖。然而，Ktena等人通过仅使用fMRI数据报告的AUC评分要低得多。ML方法即使在ICA数据上也完全失败，我们将此失败归因于两个原因。1)维度数量（𝑚）远高于被试数量（𝑛），从而产生了维度诅咒（𝑚>>𝑛），2)ML方法不计算图结构来估计网络/组件之间的连接，而主要使用独立的网络/组件。据我们所知，没有其他模型在四个神经成像数据集中给出如此高的分类分数。这个仅使用学习到的直流结构计算的模型的高分类分数增加了对学习到信息结构的正确性的可信度。

4.2 有向连接

我们的模型学习的可解释的、任务依赖的（灵活的）有效连接结构是我们工作中最重要的贡献。由于这是一个新的工作，我们详细展示了学习的连接结构的不同方面。我们a)比较我们学习DNC和通过PCC计算的FNC，b)比较DC和DNC之间的差异，c)显示方向如何连接，这不是被FC和FNC，d)深入介绍中提到的事实，与计算FNC（使用PCC）学习DNC是任务依赖和变化基于下游任务和e)显示HC和精神分裂症（SZ）的FBIRN数据的动态连接状态。以下几节中详细讨论的所有方面（a-e）都显示了学习到的DC和DNC的正确性和可解释性。

我们的模型估计的连接矩阵的可解释性使我们能够深入了解大脑网络是如何相互联系以及与下游分类任务相关联的。这对于理解大脑疾病和相关的大脑网络至关重要。与典型的FC和FNC的范围从-1到1不同，我们学习到的矩阵是基于注意力的，因此它的范围从0到1。

4.2.1 DNC vs FNC

由于大脑网络之间的真实连接尚不清楚，我们将学习到的DNC与FNC进行了比较。图4显示了基于FBIRN数据集ICA组件计算的我们的模型学习到的DNC和使用PCC计算的FNC。DNC和FNC都是包含16名被试的FBIRN数据集的最高表现折叠的平均矩阵。100个ICA分量被分为信息和噪声。我们展示了53个非噪声分量之间的连接。这些组件随后被进一步划分为7个域/网络。这两个矩阵都清楚地显示出了较高的网络内连接。学习到的DNC显示出类似的FNC模式，这增加了我们的模型学习到的DNC的可信度，但两者之间存在着非常重要的差异。网络连接：我们看到我们估计的DNC比FNC发现了更多的网络连接，而FNC主要是网络内的，网络之间的得分很低。方向性：我们的模型估计的DNC是有向的，这些信息不存在于无定向的FNC中。

图片

图4. 我们将我们估计的DNC与使用PCC方法计算的FNC进行了比较。4a是由我们的模型为FBIRN数据集所生成的连接矩阵。我们使用了16名被试并计算了所有被试的平均FNC。4b为PCC生成的相同被试的平均连接矩阵。两幅图显示了相似的网络内连接模式，验证了我们的模型学习到的连接矩阵的正确性。我们估计的DICE是有向的，并且比FNC捕获了更多的网络连接。

为了比较分类结果方面的连接矩阵，我们使用LR模型，首先使用基于PCC的FNC对模型进行训练和测试，然后使用我们估计的DNC作为输入。比较情况见表4。

表4. 我们根据FBIRN数据集上的AUC评分来比较D/FNC。我们使用PCC计算的FNC，以及使用DICE估计的DNC，训练和测试一个逻辑回归（LR）模型，这导致了一个改进的分类结果。

图片

4.2.2 有向连接组

捕获有向连接是理解大脑中信息的方向和流动的方法之一。学习连接的方向是我们的模型的主要优势之一，因为它可以解释大脑网络对彼此之间的直接影响。为了显示组件之间的方向，我们将FBIRN被试的DNC分成两个显示方向的连接体。图5显示了从𝑎到𝑏的边缘，其中𝑎>𝑏。例如，（8、23）之间的边显示了从23到8的边，而图5右边显示了相反的边。从图中可以清楚地看出，方向很重要，大脑区域之间的连接性超出了简单的统计依赖性。例如，图5显示，视觉网络（VIN）中的组件对其他网络中的组件的影响，相反方向的边缘相对较多。我们也看到了从认知控制（CC）到感觉运动（SM）的连接的方向。现有研究表明，认知控制负责注意力、记忆和执行等活动，这些活动是在做由感觉运动控制的运动任务时所需要的。这种方向性对于更详细地研究大脑的工作很重要，而在现有方法所使用的FNC中并不存在。

图片

图5. 我们展示了FBIRN的 DNC的前10%的有向边。这些数字代表了53个非伪影成分。图中清楚地显示了与现有文献相匹配的网络内连接。方向显然很重要，因为视觉组件会影响其他组件，但并不是相反的方式。CC网络和SM网络之间的边缘方向也具有重要意义。

4.2.3 各组间的连接差异

由于假设大脑疾病与大脑内在网络的连接有关，我们展示了属于不同群体的受试者学习到的DC和DNC是如何变化的。图6a显示了我们的HC和SZ被试模型对FBIRN数据估计的DNC，而图6b显示了OASIS数据集的男性和女性组的DNC。这两个结果都是使用ICA预处理数据进行计算的。对于基于ICA的DNC，两个矩阵之间存在相似性，因为它们来自同一联合ICA。然而，在视觉（VI）、认知控制（CC）、默认模式（DM）和小脑（CB）等多个网络上，两者之间存在明显的差异。HC组和SZ组之间最大的区别似乎是VIN的连接强度。对于OASIS的结果6b，我们看到女性与男性相比，在默认模式网络（DMN）中表现出较高的连接，与男性相比，感觉-运动网络（SMN）的连接较低，这已被现有研究证实。为了用数字来验证这一点，我们采用统计检验比较两组（男性、女性），并比较DMN和SMN中男性和女性的平均连接。统计结果为表5。

图片

图6. 我们使用ICA数据比较了二值分类组的估计DNC。图6a是HC和SZ患者FBIRN数据上的DNC。我们发现HC的SM和VI网络中存在网络间和网络内连接，这在SZ患者中是缺失的。图6b使用OASIS数据比较了男性组和女性组之间的DNC。与男性组相比，女性组DMN组连接高，SMN组连接低。

表5. 显示了男性和女性DNC使用ICA时间过程估计的统计数据。我们看到，男性和女性被试的估计DNC有高度显著差异。女性的DMN比SMN的超连接，而男性的SMN的平均连接得分高于DMN。这表明，该模型准确地捕捉到了男性和女性被试之间的组间差异，并利用DMN和SMN中的被试差异对男性和女性被试进行了分类。F-女性，M男性，所有网络/完整矩阵。分类性能的结果如表9所示。表6显示了p值的显著性范围。

图片

图7b比较了基于区域（ROI）HCP数据的男性和女性组。与男性相比，我们发现女性的DMN的高连接和SMN的低连接模式相似。由于基于区域的（ROI）分割将大脑分为左右两部分，我们还可以看到，与男性相比，女性的左右脑之间具有较高的网络内连接。

图片

图7. 我们使用基于区域的（ROI）FBIRN和HCP数据，比较了HC与SZ、男性和女性的估计DCs。7a显示SZ被试的弱连接脑网络，而7b显示女性的DMN的高连接和SMN的低连接。黑色和灰色表示大脑左右两侧的区域。女性和男性DCs之间的统计学比较见表7。

为了验证视觉结果，我们使用统计检验来比较男性和女性之间的DMN和SMN。这些统计数据证实了视觉结果，1)女性DMN的连接高于女性SMN和男性DMN，2)男性SMN的连接高于男性DMN和女性SMN。我们还看到，这些网络在统计上是高度不同的。参见表7。

表7.显示了使用基于区域的（ROI）的HCP数据集估计的男性和女性DCs（7 b）之间的统计数据。我们清楚地看到，与男性相比，女性在DMN中有高连接，在SMN中有低连接。女性组DMN的连接得分高于SMN和男性DMN，而男性组SMN的连接得分高于DMN和女性SMN。这表明，我们的学习模型准确地捕捉到了男性和女性之间DMN和SMN连接的差异，并将其用于分类。表6显示了p值的显著性范围。

图片

表6.显示p值的范围及相应的显著性水平，ns（无显著性）。

图片

4.2.4 任务依赖的DNC

人类的大脑可以分为多个部分/区域，每个区域都与一组任务相连。例如，海马体与记忆有关。因此，重要的是要知道哪个区域/网络与下游任务（例如无序）有关找到相关的区域/网络将有助于我们了解疾病分类，并允许更详细地研究这些区域/网络与疾病之间的联系。在本节中，我们将看到通过我们的模型学习到的DNC结构如何根据下游任务改变并识别不同的网络。为此，我们进行了一项实验，在预测同一被试者的痴呆症、年龄和性别时，我们比较了OASIS数据的估计DNC。被试的数量与HC和患者相平衡，占总被试的50%，但女性约为62%。图8显示，我们的模型产生了依赖于任务的DNC，并且对每个任务显示高连接的网络/域遵循现有文献。图8a显示了DNC学习到的时间。对痴呆症患者进行分类。我们在SM、DM和CB网络中看到了组件的高连接。在现有的文献中，这些网络与痴呆症有关，这支持了我们的方法的结果。而在对同一被试的性别进行分类时，估计的DNC是不同的，DM成分的连接高，SMN成分的连接降低。图8d显示了通过PCC为相同的被试计算出的FNC。由于使用PCC计算的FNC仅依赖于数据，因此FNC将对所有任务都保持不变，并显示了该方法的不灵活性。因此，图8显示了a)我们的模型学习了依赖于任务的DNC，b)我们的模型准确地找到了与下游分类任务相关联的网络。我们认为，这与使用PCC计算固定/静态FNC的研究相比是一个显著的优势，因此它独立于下游任务。我们可以看到，在预测年龄时学习到的连接结构图8b并没有显示出网络之间的高连接，而SMN和DMN的连接几乎相同。这可能是数据集中年龄差异较小的一个原因。

图片

图8.我们展示了我们的模型如何估计灵活的DNC结构。我们针对不同的分类任务训练我们的模型，并使用相同的测试对象来比较被试的估计DNC。所有的数字都是通过5个随机种子试验对同一被试进行的平均DNC估计。8a是我们的模型在训练痴呆分类时估计的平均连接矩阵。我们看到SC、SM和CB网络的连接值很高。8c是当模型被训练为性别预测时，相同被试的平均DNC。我们注意到，在预测OASIS被试者的性别时，SM网络的连接较低，而DM网络的连接较高。8d是使用PCC计算出的FNC。FNC独立于任务之外，并将保持不变（不灵活）。

我们使用统计分数来验证视觉结果。表8显示了三个DCs整体之间以及DMN和SMN之间的统计学差异。我们还比较了估计的DCs和FC。

表8. 我们计算OASIS的ICA学习的连接矩阵的统计差异。结果表明，学习到的连接矩阵具有高度的统计学差异，SMN在痴呆症预测方面的连接得分高于DMN，而在性别预测方面则相反。

图片

我们看到，这三个DNC在统计学上都非常不同。这也证明了DMN在性别上的连接得分更高然而，与性别和年龄预测任务相比，在预测痴呆症时的SMN连接要高得多。为了明确DMN和SMN的连接值如何变化，我们指出了痴呆和性别分类网络的平均连接得分，并将其与PCC计算的DMN和SMN值进行比较。SMN和DMN的FC连接值分别为0.580和0.487（无论分类任务如何，都将保持不变）。然而，当对痴呆症进行分类时，我们的模型显示出更高的SMN平均值0.64，DMN的SMN平均值略有下降0.478，尽管在测试集中有更多的女性被试，但仍关注SMN。当使用相同的被试预测性别时，我们模型的SMN连接值降低到0.555，而DMN增加到0.527，因此更少关注SMN和更多关注DMN的痴呆分类任务验证我们估计DC是任务依赖的，而不仅是数据依赖。

为了将矩阵视为节点（区域）和边缘（连接）的图，我们在大脑上绘制了图8a和c，并显示在图9中。图中显示了VIN和SMN组件之间以及痴呆分类的两个网络之间的大量节点和边缘，DMN中组件之间的节点和边缘数量在性别分类任务中较高。

图片

图9.我们绘制节点和dc的前10%的边缘在大脑上，估计为痴呆症和性别分类任务，在OASIS数据集上执行。节点的大小是传出和传入边权值的和。箭头表示连接的方向。我们看到，对于痴呆9a，SMN和VIN的节点和边缘的数量和大小都很大，而对于性别9b，我们看到DMN的节点和边缘的大小都很大。

4.2.5 动态连接状态

研究表明，人类大脑FC是动态的，可用于寻找静态FC研究中不可见的模式。这些研究表明，动态FC表现出重新发生的模式。为了研究这些模式，人类大脑的动态连接被划分为不同的k种状态。有多种方法来寻找k态，k均值是最常用的方法之一。这些研究表明，患者（SZ、痴呆、自闭症）和HC在每个状态下的过渡和花费的时间是不同的。为了验证我们的结果并找到这样的模式，我们使用k-means来找到k，使用由DICE估计的FBIRN数据集的DC来找到这样的状态。我们计算并比较了两组（SZ和HC）在每个状态下所花费的时间。

图10显示，SZ被试在弱连接状态（1,3）的时间超过HC，HC停留在视觉（VI）和感觉运动（SM）连接得分高的状态。我们还看到，HC比SZ更频繁地改变状态，而SZ在一个状态下花费了大约66%的时间。现有研究表明，无窗口方法可以找到广泛使用的基于窗口的方法无法捕获的动态模式。由于DICE是一个瞬时模型，我们研究了DICE是否能比基于窗口的动态-FNC研究中捕获更多的动态状态。为此，使用肘部法，我们发现估计的DC的最佳k不是5，并设置了k = 10，并在图11中显示了合成状态。我们看到模型捕获了k = 5不可见的其他状态。发现的其他状态显示了方向性的模式，特别是在HC比SZ花的时间更多的状态。例如，在图10中，状态2呈现VIN中组件的连接密集，方向为从VI到其他状态，状态5呈现相似的方向，但连接稀疏。图11捕获了显示相反方向的附加状态，即VIN有大部分传入的边缘。我们认为，当不同的网络（如SMN）向VIN提供输入以控制视觉时，这种状态代表了大脑的活动。

图片

图10.由我们的模型对FBIRN数据集估计的dc上使用k-均值计算的5个状态。第一行表示估计的DC的k个均值，第二行表示两组在每个状态下花费的时间百分比，总时间点为155。SZ和HC在每个状态下所花费的时间差异显著，并与现有文献相匹配。我们看到a)花在每个状态的时间是不同的HC和SZ，b) SZ花更多的时间在状态3（弱连接），c)HC比SZ花更多的时间在状态（2,4,5）显示VI和SM网络的高连接，和d)标准差的时间SZ（320.47）比HC（206.26）更高，这表明SZ呆在一个状态比HC更容易改变状态。

图片

图11. 我们在FBIRN完整数据集上的DICE估计的时间DC上显示了由k-means捕获的10个状态。这些行显示了HC和SZ被试在每个状态下所花费的平均值和时间百分比。我们可以看到，DICE可以捕获比基于窗口的方法捕获的标准（4-5）状态更多的状态。图10中未出现的附加状态显示了连接方向的变化。状态9显示VIN与其他网络之间的连接方向相反，其中VIN大部分是传入边。HC和SZ被试在不同状态下的时间比与图10的结果相似。

4.3 时间注意模块

我们的时间注意模块找到了与下游任务相关的重要时间点（例如，性别预测）。由于并不是所有的时间点对下游任务都同样重要，而且fMRI数据的时间分辨率较低，因此时间注意是寻找神经成像数据集的重要生物标记物的有效方法。找到相关的时间点可以帮助减少数据，并允许专注于特定时间点的活动。图12显示了分配给FBIRN的被试的权重。

图片

图12.FBIRN的其中一个测试集（16名被试）的时间注意权重。注意权重使用GTA模块进行计算。x轴和y轴分别表示时间点和被试数。我们表明，对于每个被试，注意权重在多个随机种子试验中保持稳定。10次试验的值用于创建每个被试的置信区间。随着训练对象数量的增加，一致性大大增加。注意：对于每个被试，我们将被试编号添加到注意力权重中，以分离权重，因为每个被试的权重范围为0−1。深色和浅色分别代表SZ和HC的被试。

我们用16个随机种子试验显示了16名被试（每组8个）的体重。结果表明，时间注意模块非常稳定，并为每次试验的时间点分配相似的权重。

我们进一步检查正确性的时间点选择的模型和这些时间点是如何有用的分类性能，我们执行一个实验训练模型后，我们使用𝐖𝑡前5%的值训练LR模型，然后使用前5%时间点的测试数据来测试模型。同样地，我们也对底部5%的值进行了实验。表10显示了三种脑疾病数据集的比较。结果表明，LR模型仅使用5%的重要时间点即可提供较高的AUC分数。因此，它证明了a)并非所有的时间点对分类都是很重要的和b)我们的模型准确地找到了重要的时间点。我们使用一个LR模型这个实验表明，学习顶部和底部5%值并不限于我们的DICE模型，一个独立的LR模块给出高分类性能使用前5%的数据。最后，我们的实验还表明，不使用时间注意会降低模型高达10%的分类性能。

表10. 通过仅使用所有、前5%和后5%的时间点，对具有ICA成分的大脑数据集进行AUC评分比较。我们使用DICE确定的时间点来训练和测试一个逻辑回归（LR）模型，并比较当使用顶部和底部5%的时间点时的结果。我们看到，仅使用前5%的时间点就足以使达到最高的AUC。

图片

5. 讨论

我们的实验揭示了DICE的一些有趣的特性，并揭示了一些可解释的有向连接图，我们认为它们对神经成像领域具有很高的实用性。正如研究结果所支持的那样，像DICE这样的带有玻璃盒层的模型在研究大脑的静息态动力学方面具有很高的潜力。在下面，我们将讨论最相关的结果。

5.1 网络间连接和有向连接

第3.2.1和3.2.2节的结果显示，DICE推断的DNC与FC研究的基本结果一致，并提供了两个附加方面：网络间连接和有向连接。网络间的连接是非常重要的，因为大脑不是由孤立的网络组成的，许多任务需要信息传递，神经元通过多个网络发射。因此，如果对患者和对照组来说，发现这些网络是如何相互连接的，这是至关重要的。为患者捕捉网络之间的连接障碍可以导致发现关于人类大脑的功能和大脑疾病对其影响的知识。此外，寻找网络之间的方向性也具有重要意义。我们在实验中表明，我们的模型捕捉到了网络之间的连接方向。从VI到其他网络，从CC到SM网络的连接方向是合理的。现有研究表明，认知控制负责注意力、记忆和执行等功能。这些功能在做一个由感觉运动控制的运动任务时通常是需要的，这暗示了CC网络对SM网络的直接影响，由DICE捕获。关于VI和其他网络，我们知道VI主要是对我们大脑的一种输入（视觉效果）的手段，然后由大脑的不同部分进行处理。因此，大部分的信息流是从VI到其他网络，很少是相反的方向，这需要控制VI来完成SM控制的不同运动任务。因此，我们的实验也表明，大多数进入VI的连接都是通过SM网络，从而准确地捕获了网络之间的信息流。这种信息流并不是用简单的相关性来捕获的。我们认为这两个方面对于理解大脑工作至关重要，目前在FNC等连接估计方法中被忽略了。

有向连接是内在大脑网络对其他网络的定向影响。估计连接的方向可以简化有助于建立因果关系的有针对性的干预措施。捕捉网络之间的因果关系进一步有助于理解复杂的系统和回答反事实的问题，并留给未来的工作。我们的模型发现了组件/节点之间的非负相关关系，我们考虑的是依赖性或相关性，而不是相关性。然而，我们知道FC和FNC中的负相关也是有帮助的，并提供了描述性信息。我们认为在DICE估计的连接矩阵中加入负关系可能是一个容易的解决方法。

5.2 可解释性

DICE估计的DC和DNC如何准确地解释了1)精神分裂症患者和对照组以及男性和女性组之间的连通性差异。在将精神分裂症患者与对照组进行分类时，我们的模型了解到最显著的差异是VI、SM和DM网络。对照组显示VI和SM之间以及与其他网络的强大连接，这在SZ患者中是缺失的。连接障碍的发现和/或低连接分数VI和SM网络SZ患者并不奇怪，因为有充足的证据表明精神分裂症导致多个异常相关的视觉和运动功能如感知对比和运动，检测视觉轮廓，控制眼球运动等等。这些异常肯定会影响运动技能，我们认为这是我们的SZ患者模型所捕捉到的SM和VI网络连接较低的一个原因。DICE还捕获了SZ患者DMN内的高连接。

而在同一数据集中对性别进行分类时，DICE强调了DM网络中的高连接，以及与男性相比，女性的SM网络中连接较低。DC和DNC任务的差异得到现有研究的支持显示了DMN在精神分裂症患者性别分类和VI连接障碍中的作用。与现有的研究类似，DICE显示，女性被试与男性相比，在对侧同源大脑网络之间具有更高的连接。

DL模型通常被视为黑盒模型，因为它们的解释很困难，而且不容易解释它们所训练的任务上的表现。这些模型可以在任务上显示出出色的性能，例如基于没有实质性地揭示输入数据及其动态的原因进行分类。其中一个原因是快捷学习：DL模型可以通过只关注背景（蓝天），对有飞机或没有飞机的图像进行较高精度的分类。虽然这些模型具有预测性，但它们并不能帮助发现知识。为了控制快捷学习，我们希望能够看到为什么要做出预测。一种方法是使DL模型可解释。为此，通常使用事后方法，例如，显著性映射。这种方法通过查找模型对输入的哪一部分最敏感来解释输入数据。显著性映射在二维图像的计算机视觉任务中显示了一些良好的结果。在神经成像和时间数据中使用显著性图存在不同的挑战，因为输出图有噪声，难以解释，不能提供很好的边界，也不能提供不同突出区域之间的连接。选择获得显著性映射的方法也需要考虑，因为其中一些方法是基于架构的。因此，使用显著性映射得到特定任务的大脑连接图是不可行的。为了克服DL模型的黑盒性质，我们重点关注了模型结果的可解释性。为此，由于大脑疾病通常与大脑网络连接模式的中断有关，我们只使用模型学习到的连接矩阵进行下游分类或预测任务，从而使模型提取与真实信号相关的连接异常。概念化我们的方法的一种方法是将生成的DC和DNC视为一个“玻璃盒层”（清晰和可解释的）层，如图1所示。这种方法结合了灵活性（该层是可训练的）和可解释性，使模型能够捕获分类任务中组的连接的差异。使用我们的方法也可以进行回归，尽管我们把它留给了未来的工作。我们的“玻璃盒层”方法能够学习基本网络及其与其他与训练信号相关的其他网络的连接，并直接输出，而不使用事后方法。由于我们的模型估计的DC和DNC是基于可学习函数，当模型进行再训练时，输出矩阵的值可能略有不同，这是DL模型的一个属性。因此，本文中所示的所有连接矩阵在几次随机种子试验中被平均。

5.3 任务依赖的灵活DNC

我们充分利用DL模型的灵活性来学习任务依赖有向连接结构。我们的模型估计了相同的被试的DNC结构，这些结构与痴呆症、年龄或性别的基本真实任务不同。因此，我们的模型可以显示网络及其连接性，这对特定的下游任务至关重要。该模型通过学习的DNC痴呆分类（SM、CB、VI）识别的网络与之前的研究结果相匹配。然而，在性别预测方面，该网络确定的最突出的网络是DMN，这同样与现有文献相匹配。我们认为这是对DICE寻找无序依赖网络和连接模式的能力的有力验证。我们在图8a中显示，我们的模型更关注SMN而不是DMN，尽管在测试集中有近三分之二的女性被试。这一结果很重要，因为该模型了解到SMN连接对于痴呆分类的下游任务比DMN更重要，因此增强了SMN的信号。这就不需要获得严格匹配的被试，只有你想要找到相关网络和连接的差异。例如，当我们试图使用PCC寻找与精神分裂症相关的网络时，我们需要找到两组没有任何其他差异的两组（精神分裂症患者和对照组）。无关的差异会导致被确定的网络是否与疾病（精神分裂症）或其他一些差异有关，例如，性别。DICE不是通过回归它们或采取等价的措施来明确地对抗混杂因素，而是基于训练标签隐式地执行“去混杂”。

我们的模型的另一个值得注意的特性是，它在训练过程中没有找到相关的网络和连接结构（子图），使DICE成为一个自监督图学习模型。

5.4 动态DNC和时间注意模块

根据之前的研究和我们的结果表明，大脑内在网络之间的连接是动态的，动态连接可以捕捉到静态模型所忽略的模式。值得注意的是，对照组和SZ患者每个状态下花费的时间量不同。对照组比SZ患者花费的时间更长，特别是在视觉和感觉运动网络方面。另一方面，SZ患者花时间在弱连接状态，而不经常花时间在其他状态。在FNC的研究中也观察到了类似的模式。

此外，使用FBIRN中的所有被试，我们的模型发现了使状态分辨率加倍的额外状态。与使用滑动窗口相比，我们通过DICE中连接估计的即时性来解释这种时间分辨率的增加。因此，即时估计连接可以使模型具有鲁棒性，并发现在使用基于窗口的方法时所遗漏的模式。另一种解释和另一个因素是通过有向图增加的表示的丰富性——DICE的连接矩阵的参数数量是FC和FNC的两倍。我们用k=10状态的实验显示了强连接和弱连接状态的相似模式，但它们在连接方向上变化。这一结果表明，连接强度和连接方向都是动态的（随时间变化）。由于这种状态很少见（基于所花费的时间），因此基于窗口的方法将更难捕获它。看看连接的方向何时以及如何变化，以及执行任务等外部因素如何触发这些变化，这将是一件很有趣的事情。然而，这是未来工作的一个主题。

最后，我们表明，并非所有的fMRI数据的时间点对下游预测任务都同样重要，而判别连接矩阵表现出时间动态。利用时间注意，我们的模型发现了与训练中使用的真实信号相关的重要时间点。这进一步有助于可解释性，因为我们的模型发现了大脑活动显示与任务相关的信号的时间点。这可能在任务数据中也很重要，因为被试被要求执行不同的任务，而DICE模型可以用来找出哪个任务揭示了潜在障碍的症状。我们的实验表明，在不同的随机种子任务中，时间注意给时间点分配了稳定和一致的权重。我们还注意到，a)只有5%的时间点就足以实现高分类性能，并且b)排除时间注意（为每个时间点分配相同的权重）会对分类性能产生负面影响。在随机种子试验中，一致的时间注意值进一步加强了时间动态鉴别DCs的证据和注意机制的价值。正如我们的实验所显示的，根据Jain和华莱士和威格雷夫和品特所讨论的定义和潜在问题，我们的注意力模块确实是可靠的。作为一种可学习的方法，DICE和其他“玻璃盒层”模型需要能够在训练过程中一致地分配时间注意值并估计节点之间的连接，而计算相关性的不灵活的方法，如PCC没有这种特性。在某种程度上，可学习模型的灵活性伴随着对可学习解释的稳定性的额外要求。尽管我们的DICE模型通过显示出较高的分类性能，并在相对较小的数据集上分配一致的自我注意值和时间注意值，从而工作得很好，但正如我们所显示的，在我们的实验中，有更多的训练对象会导致更一致的时间权重分配。

6. 结论

我们的工作证明了从功能磁共振成像数据中获得的动态、有向和任务依赖的连接图的可学习可解释估计器的重要性。DICE学习估计可解释的动态图和有向图，这代表了大脑网络之间的有向连接。端到端训练过程消除了对现有的外部方法，如PCC和K-means，这些方法是可解释的，但不灵活，并且严格依赖于输入数据。用玻璃盒层实现DICE允许我们绕过需要一种事后方法来解释学习到的模型表示。

由DICE估计的连接矩阵显示了大脑连接如何在疾病、性别和年龄之间发生变化。学习到的连接矩阵有助于理解人类的大脑及其紊乱。此外，我们从FC和FNC转移到DC和DNC，以学习连接的方向，同时通过使模型瞬时，消除了输入数据的窗口大小问题。学习到的连接矩阵提供了符合现有研究的知识。利用DL模型在学习数据表示中的灵活性，我们表明，使用相同的数据，可以根据下游任务和真实信号学习不同的连接结构。这种灵活性允许通过使用不同的训练标签从数据中获取更多的信息，这将需要一个更复杂的数据选择过程，并手动过滤完全由数据决定的方法的混杂因素，如PCC。我们的模型突出了与下游分类任务相关的不同网络，例如，性别预测的默认模式网络。与其他可解释的模型不同，它们可能会导致分类性能的下降，DICE在四个神经成像数据集上的多个分类问题中击败了最先进的方法。

对于分类，DICE使用了学习到的连接结构。再加上时间权重，这些结构在不同的种子中是合理一致的。值得注意的是，如果没有使用时间注意，DICE的表现就会下降。该模型的时间注意模块发现可解释的生物标记物对执行分类任务至关重要，并表明只有一小部分的时间点就足以获得最大的性能。值得注意的是，并不是所有的时间点都是有区别的，这从图12中时间注意权重的稀疏分布和表10中仅占注意权重的前5%的高预测能力中就可以明显看出。

由于静息态功能磁共振成像中动态图结构的基本事实不可用，我们认为需要像DICE这样的“玻璃盒层”模型，仅基于数据和分类标签来估计这种结构。

在未来的工作中，我们希望省略使用降维方法的预处理——就像这里使用的ICA或基于区域的分割——并在体素级数据上端到端训练模型。然而，这可能需要更大的数据集，而且对于平均大小的研究数据集，这可能不如当前的模型有用。由于DICE估计了连接的方向，对于未来的工作，我们想研究连接的方向是如何随着时间和在任务中变化的。