Nature Communications:动态环境中学习期间的功能脑网络重构

摘要

当了解动态和不确定的环境时，人们应在新证据最能提供信息的时候最强烈地更新他们的信念，比如当环境发生了惊人的变化或现有的信念高度不确定的时候。我们发现，对惊喜和不确定性的调节被编码在一个特定的、全脑功能连接的时间动态模式中，并且这种编码在那些更适当适应他们的学习动态以应对这些因素的个体中得到增强。这种全脑功能连接模式的关键特征是额顶叶和其他功能系统之间更强的连接或功能整合。我们的研究结果为学习中的动态调整和大脑中功能连接的动态、大规模变化之间的联系提供了新的见解。

1.简述

人类的决策是由对当前环境特征的信念所引导的。这些信念通常必须从间接和不确定的证据中推断出来。例如，决定去一家餐馆通常取决于对它当前质量的信念，这可以从过去在那家餐馆的经历中推断出来。在动态环境中，这种推断过程尤其具有挑战性，因为动态环境的特征可能会发生意外变化(例如，刚雇佣了一个新厨师)。在这些环境中，人们倾向于遵循规范性原则，动态地、适应性地更新他们的信念，这样，当现有的信念较弱或不相关，以及/或新证据强大或令人惊讶时，信念的更新会更强烈。最近的研究已经确定了这种适应性信念更新过程的潜在神经基质，包括背内侧额叶皮层、前脑岛、外侧前额叶皮层和外侧顶叶皮层的不确定性和惊奇的单变量和多变量活动模式。本研究的目的是深入了解这些表征如何动态交互以支持适应性信念更新。

2.结果

2.1信念更新受不确定性和惊喜的影响

参与者在功能磁共振成像(fMRI)期间执行预测-推理任务(图1a)。

在这项任务中，参与者放置一个桶来接住从被遮挡的直升机上掉下来的袋子。在以直升机位置为中心的噪声分布下，对塑料袋的位置进行采样。直升机的位置通常保持稳定，但偶尔会突然发生不可预测的变化(试验中平均变化概率为0.1)。此外，在每次试验中，袋子(如果被抓住)是奖励的还是中性的被随机分配，并以颜色表示。这项任务要求参与者根据嘈杂的证据(落下的袋子的位置)形成并更新一个潜在变量(直升机的位置)的信念。

我们先前描述了一个近似于这个任务的规范解的理论模型。该理论模型采用delta规则的形式，近似于贝叶斯理想观测器。信念(Bt+1)基于当前结果位置(Xt)和预测位置(Bt)之间的差异进行更新，更新的程度受学习率控制(αt;图1 b)。试次-试次学习率由两个因素决定:(i)变化点概率(CPP)，它是一个变化点发生的概率，代表一种信念惊喜的形式;(ii)相对不确定性(RU)，这是相对于来自环境噪声的不可减少不确定性而言的关于当前状态的可减少不确定性，代表一种信念不确定性形式(图1c)。当CPP或RU更高时，学习率更高:αt = CPP+ (1-CPP)RU。

图1 任务以及信念更新理论模型

我们之前报道了参与者的预测如何受到规范和非规范因素的影响，以及这些因素如何在单变量和多变量活动中编码。CPP和RU值越高，被试的信念更新越频繁，与规范模型一致。然而，当结果得到奖励时，参与者更新了他们的信念，这不是规范模型的特征。CPP、RU和reward以及残余更新(未被CPP、RU或reward捕获的信念更新)都在不同区域的单变量和多变量大脑活动中编码。本研究在前人研究的基础上，探讨了这些因素以及这些因素在影响信念更新方面的个体差异与全脑功能连接动态的关系。

2.2非负矩阵分解（NMF）识别出10个随时间变化的子图

用NMF方法将全脑功能连接随时间分解为特定模式，叫作子图，并量化这些模式随时间变化的表达。为执行NMF，先基于以前研究中的分区定义ROIs（图2a），提取每个ROI的BOLD时间序列（图2b）。每一对ROI，计算25s（10TR）时间窗内的皮尔森相关，2TR的时间步长作为补偿（连续的时间窗有80%的重叠）。这一过程产生了一个矩阵，其中的条目代表了在任务期间大脑中这些成对相关性强度的时间依赖性变化。我们从这个相关矩阵(图2c)展开每个时间窗，将其变成一列向量，然后将所有时间窗和所有参与者的这些向量连接起来(图2d)。根据NMF的要求，我们将得到的矩阵转换为严格的非负值:我们复制整个矩阵，在第一次复制中将所有负值设置为零，在第二次复制中将所有正值设置为零，然后将所有剩余值乘以负1。因此，我们将最终的完整数据矩阵分成两部分，其中一半包含正相关系数(负相关系数为零)，另一半包含负相关系数的绝对值(正相关系数为零)。

这一过程确保了我们的方法不会对积极或消极的功能连接给予不适当的偏好，并且子图是基于积极和消极的功能连接来识别的。

将NMF用于矩阵A来识别子图以及它们随时间的表达。具体来说，将整个数据矩阵解构为子图矩阵W和表达矩阵H（图2d）。W的列代表不同子图，行代表不同的边（脑区对），每个单元的值代表边的强度。H的列代表不同子图，行代表时间窗，每个单元的值代表子图在时间窗表达的度。通过三个参数最小化误差来应用NMF：1）子图数量k；2）子图正则化α；3）表达系数β。

使用NMF，我们确定了10个子图，它们反映了大脑中每一对区域的功能连接强度模式，以及这些子图随着时间的推移的表达。每个子图的完整描述指定了每对ROI之间的边强度，对应一个247x247矩阵。我们计算了一个更简单的总结描述，它指定了前面定义的分割中每一对功能系统之间的边强度，对应于一个13x13矩阵。根据各ROI的功能系统对ROI之间的边进行分类。为了估计系统矩阵中的对角线条目，我们平均了给定系统内连接两个ROI的所有边的权值(图3a)。

为了估计系统矩阵的非对角线条目，我们将一个系统中的ROI与另一个系统中的ROI连接的所有边的权值平均。按照通常的说法，我们将同一系统内的边称为系统内的边，而将两个不同系统之间的边称为系统间的边。为了表示，我们根据系统内边相对于系统间边的强度对10个子图进行了排序和编号(图3b，补充图2a c)。最后，我们对系统逐系统矩阵设置阈值，仅显示通过排列检验的边。整个数据矩阵被分成两半，第一半对应正矩阵，第二半对应负矩阵。表达矩阵H也被分为两半，第一半对应正表达，第二半对应负表达。所有子图正和负表达系数高度负相关。对于下面的子图表达式的分析，我们因此构造了一个相对子图表达式的测度，方法是在每个时间点上用正表达式减去负表达式。在子图中，跨越时间的平均相对表达与系统内边相对于系统间边的相对强度强相关(补充图2d f)。也就是说，系统内强度越高，子图的相对表达越高。

图2 方法综述

2.3规范因素调节子图表达

我们研究了CPP、RU、reward和残差更新如何影响每个子图的时间表达。我们发现，规范性因素(CPP、RU和反映参与者对这些变量的主观估计的残差)和子图4之间存在特别强的关系，子图4最强的边在额顶任务控制系统中，其次是记忆提取。具体来说，我们使用多元回归来估计这四个因素与每个子图的相对表达强度之间的不断尝试的关系。对于每个子图，分别拟合每个参与者的回归系数，并在组水平上使用t检验(补充图3)。在十个子图中，这四个因素解释了子图4的时间依赖相对表达的最大方差(补充图4)。我们还评估了头部运动的影响，在回归模型中包括运动，以6个运动参数的相对均方根为索引。运动不显著，CPP、RU和残差更新的影响仍然显著，且影响大小相似。 虽然CPP或RU也调制一些其他子图的相对表达(例如，子图1,3和7;补充图3)，下面我们关注子图4有几个原因。首先，我们调查的四个因素解释了子图4的时间依赖相对表达比任何其他子图的更大的方差。其次，只有在子图4上，CPP和RU的影响才足够强，能够在10个子图上的多次比较中存活下来。第三，只有在子图4中，CPP和RU的影响在使用不同大小的时间窗口的分析中得到了稳固的显示。

图3 子图中的连接模式

2.4个体差异与子图表达相关

子图4的表达不仅受驱动规范性学习的任务因素的调节，而且在不同的被试之间也存在差异，反映了个体在规范性学习中的差异。 作为规范学习的一个指标，我们使用多元回归估计了CPP和RU对逐次信念更新的影响，并取每个参与者的CPP (β2)和RU (β3)的回归系数之和。这个总和反映了每个人在对规范因素作出反应时更新他们信念的程度。我们检验了个体差异在这个规范性信念更新度量和子图表达的两个方面之间的关系。 首先，我们考察了规范信念更新与规范因素动态调节子图表达之间的关系(补充图5)。作为规范因素动态调节子图表达的指标，我们使用来自于上面分析的CPP的回归系数和RU的总和相对表达式。我们发现子图4被规范性因素表达的动态调制和和规范信念更新之间的正相关（图4 d）。第二，我们还发现子图4的平均相对表达量与跨参与者的规范信念更新之间存在正相关(图4 e;补充图6)。当我们控制运动对动态调制或平均相对表达的影响时，这些影响仍然显著，而运动本身的影响并不显著。这两个结果表明,子图4的平均最高表达的参与者,和不同时间的子图4的规范性因素占相对表达式的大多数方差的那些人,倾向于更新他们的信仰的方式比其他个体更符合规范的模型。

图4 子图4的时间表达和任务因素以及个体差异相关

2.5具体的边对具体效应的贡献

子图4描述了多个功能系统的系统内部和系统之间的功能连接(图3b和4a, b;补充图2a c)。我们接下来检查了子图4中的特定边(即特定脑区对之间的功能连接)对任务的贡献，以及该子图中观察到的个体差异效应。 子图4的任务相关调制主要涉及系统之间的功能连接，而不是系统内部的功能连接。具体地说，我们仅使用系统内边或仅在系统边之间重新估计了CPP、RU、reward和残差更新对子图4相对表达的影响。我们将这些影响与我们之前使用所有边的估计进行了比较(图5a; 所有)通过t测试。去除系统间边(Withinvs All)减少了CPP估计效应的大小。相比之下，删除系统内部的边(Between vs All)导致这些效果没有可靠的变化。此外，在直接比较仅具有系统内边或系统间边的约简子图时，仅具有系统间边估计的CPP效果更强。 子图4中，系统内和系统间功能连接对个体差异效应的贡献不明显。对于规范学习的个体差异和平均相对表达之间的关系，比较之间的模式与任务效应观察到的模式相似(图5b)，这表明系统间边的贡献更大，但没有任何比较具有统计学意义。相比之下，个体在规范学习方面的差异与子图4的动态调节之间的关系，系统内边似乎更重要，删除系统内边缘(between vsAll)降低了这种相关性(图5 b)。

图5 系统间和系统内边对任务因素和个体差异在组图4表达上效应的贡献

2.6区域活动与连接之间的关系

在我们之前的报告中，我们描述了CPP、RU、reward和残余更新如何影响单变量大脑活动。在最后一组分析中，我们检验了这些先前报道的单变量效应与我们上面确定的动态功能连接变化之间的关系。 子图4中最强呈现的脑区与之前的报告中脑活动受CPP和RU可靠调节的区域空间重叠。作为子图4中区域参与程度的度量，对于每个ROI，我们计算了该ROI和子图4中所有其他ROI之间的每条边的平均强度，并将这些平均值归一化在0到1之间。然后，我们将这个度量与我们之前的研究中的活化联系起来，即通过CPP或RU调制效应的z统计量来测量。这一z统计量表明了CPP或RU对参与者单变量活性变化的影响大小。在所有ROI中，子图4的边强度与CPP激活(图6a)和RU活化(图6b)呈正相关。SurfIce软件用于显示子图4的归一化平均边强度图以及CPP和RU的阈值激活图(图6c)。在子图4中边强度较强的区域，如岛叶、背内侧额叶皮质、背外侧前额叶皮质、后顶叶皮质和枕叶皮质，也倾向于随着CPP和RU的增加而表现出更强的激活增加。

除了这些单变量大脑激活和边强度之间的强关联，除了那些被单变量任务活动捕获的效应，也有助于我们的动态功能连接结果。为了证明这一点，我们估计了仅包含任务调节的单变量活动的时间序列的功能连通性，在这个矩阵上执行NMF，并重复了我们所有的主要分析。 该分析再次确认了一个子图4，其最强边位于额顶叶系统，但它没有概括我们主要分析中看到的子图4表达与任务因素和个体差异之间的所有关系。这些结果表明，在我们的主要分析中确定的动态功能连接模式反映了跨区域的协调活动(可以通过单变量分析捕获)和跨区域的其他需要基于网络的分析的统计依赖性的混合。

图6 子图4边强度与单变量任务激活之间的关系

3.总结

我们在人类受试者执行预测-推理任务时发现了一种动态功能性大脑连接模式。这种模式在需要更快信念更新的时候表现得最为强烈，并且在那些最有效地使用适应性信念更新来完成任务的人身上得到了增强。为了识别这种模式，我们使用了NMF，这是一种无监督的机器学习技术，它将依赖时间的功能连接的完整矩阵分解成子图(功能连接的模式)，以及这些子图的依赖时间的大小。在我们的数据中确定的子图中，一个子图的表达被三个影响行为信念更新程度的反复试验因素可靠地调制:CPP(意外)、RU(不确定性)和残差更新(未被意外或不确定性解释的更新)。值得注意的是，CPP和RU是通常促进更大信念更新的因素，衡量过去的观察相对于最近的证据贴现的程度。残差更新可能至少部分地获取了规范模型中CPP和RU的客观值与个人对这些因素的主观估计之间的偏差。因此，这个子图的表达不仅反映了应该影响信念更新的规范因素，而且也反映了对这些因素的主观估计可能的波动。除了被这些不断尝试的任务因素调节外，这个子图的表达也在个体之间以一种与信念更新的个体差异相关的方式发生变化。倾向于以更规范的方式更新信念的被试，即具有更强的惊喜(CPP)和不确定性(RU)影响的被试，表现出更强的规范因子对该子图表达的动态调节，以及更强的平均表达。