秩序与崩溃

从细胞器官到个体组织到社会的秩序与崩溃的统一解读：

Permutation Entropy as a Universal Disorder Criterion- How Disorders at Different Scale Levels Are Manifestations of the Same Underlying Principle

摘要： （约3万字长文，其中3-6节可略）

细菌、细胞、器官、人类和社会群体有什么共同之处呢？乍一看，也许并不太多。它们涉及完全不同的代理和观察尺度水平。然而，仔细一想，它们也许拥有一切共同之处。越来越多的文献表明，不同观察尺度水平上的生命系统遵循相同的架构原则，并以类似的方式处理信息。而且，当应激水平接近致命水平时，这些系统似乎以相似的方式做出反应。为了解释这种共性，我们认为所有生物（包括人类）都可以被建模为层次贝叶斯控制系统，这些系统受相同的生物物理原理支配。当这些系统超出其纠正环境干扰能力时，它们都会显示出一般性的变化。毫无例外，处于应激状态的生物在内部信息传递和显性行为中显示出逐渐升高的“失序”水平（即随机性、不可预测性）。我们认为，这种变化可以通过失掉对内部信息传递进行调节的高水平整合性控制的崩溃来解释，这种控制通常同步调节生命系统各个组成部分的活动以产生有序。高度连接的（中枢）节点的选择性超载和级联失效会降低层次控制，导致失调的行为。因此，我们提出了一个理论，根据该理论，有机概念，如压力、失去控制、混乱、疾病和死亡，可以用适用于所有组织水平的生物物理术语来操作。鉴于这一机制的普遍性，似乎“失去控制”在任何地方都涉及相同的过程，无论是细菌在抗生素作用下屈服，还是人们患有身体或精神障碍，甚至是社会系统滑向战争。从实际角度来看，混乱的度量可能作为系统失效的早期警告标志，即使灾难性的失败仍然遥不可及。

关键词：排列熵；混乱；压力；异态（中枢）超载；级联故障；疾病；层次控制系统；主动推理；自由能原理；临界减速

1. 不同生物体对环境挑战的适应研究简史

很长一段时间以来，人们一直认为不同的生物对环境挑战的响应方式各不相同。这种假设是可以理解的，因为细菌、鱼类、鸟类或哺乳动物的应激反应涉及完全不同的基因和神经途径。然而，当忽略特定应激反应的细节，观察系统动态的整体，这些差异就消失了。无论研究何种类型的生物体，其对不利环境条件的响应本质上是相同的：构成生物体的各个组成部分（如基因、蛋白质、代谢产物、神经元或脑区域）越来越同步它们的响应并呈现出更多不同的数值[1,2]。换句话说，系统组件之间的相关性增强，同时方差也增加。与此同时，系统组件在相同状态下的时间更长，导致这些组件的值与它们先前的值更强烈地相关（“自相关”）。这一情况会持续到一个离散点，之后同步减少，但方差仍然很高。这样的“临界点”通常对应于疾病的发作或生物体的死亡（图1）。这一奇特现象自1980年代以来已经被多次重新发现。例子涉及广泛的生物体和各种类型的应激源，从抗拒抗生素应激的细菌和抗击严重干旱条件的植物到在各种不利条件下挣扎的昆虫、爬行动物、鸟类和哺乳动物[1]。在人类中，相同的动态可以在心肌细胞在心肌梗死前、患有慢性阻塞性肺病的患者哮喘发作以及心律失常和癫痫发作前的神经活动中观察到[2]。除了身体疾病，类似的变化也观察到在自报告的不同形式的急性精神疾病，如重性抑郁症、躁郁症或精神病患者的心理状态中[3-5]。对环境挑战的这种通用响应似乎独立于观察的空间尺度水平。它已被观察到影响分子、基因、不同细胞类型、组织、器官和整个有机体、食物链、股票市场和整个生态系统的动态[2]。通常，在临界点出现之前，系统变得在环境扰动后恢复缓慢，这就是为什么这种现象有时被称为“临界减速”（CSD）[6,7]。尽管CSD在科学的不同领域得到了确认，但对这一现象的认识似乎仍然主要局限在物理学而非生物学领域[8,9]。可能有几个因素导致CSD，但迄今为止，支持多个尺度级别上CSD的通用机制仍然难以捉摸。临界减速可能是由系统组件之间递归连接的数量和强度逐渐增加引起的（例如，计算机、基因、神经元或人）[10]。这些组件不断地强化彼此的活动，因此系统在初始扰动后需要更长的时间来平静下来（‘滞后’或减速：这解释了自相关的增加）。局部连接数量和强度逐渐增加，减少了网络簇（连接节点的社区）的数量，直到在某个离散点，只需要少量额外的连接就能将所有网络簇连接到一个巨大的连接组件中[11]。在那一点上，只需小幅增加局部连接性就足以引起全局网络活动的突然变化：相变[12]。然而，尽管有这些宝贵的见解，目前仍不清楚是什么导致在临界点之前系统组件的连接性和方差增加，或者在达到临界点后减少。

升高的压力水平不仅导致生物体内部信号传导的普遍变化。他们的行为内容也以一种明显普遍的方式发生变化。当压力水平接近致命水平时，生物体将其行为从所谓的‘慢速’转变为‘快速’行为策略[14]。这意味着它们不太倾向于花费时间和精力照顾彼此和未来的后代（例如，繁殖和父母投资）。相反，它们更专注于能源经济和自我保全（例如，侵略）。行为还从长期策略（例如，储存食物，堆积脂肪）转向更短期策略（例如，吃食物，燃烧脂肪）。在生理上，这些变化与从更复杂的‘目标导向’行为形式（例如，在迷宫中导航以找到食物源）转向相对简单的、习惯性的行为形式（例如，进食、战斗或逃避）同时发生[15,16]。换句话说，生物体的行为更加专注于处理当前存在的基本挑战，而不是考虑复杂且可能是长期的情景。此类变化先前已被解释为生物体需要将有限的能量和资源重新分配到其最主要的过程中的需要[17,18]。在这个观点中，生物体可以被建模为具有分层结构的调节系统，其中高层和低层系统共同工作以产生稳定性[19]。当较低级别的系统无法稳定生物体时，较高级别的系统将接管以确保稳定性。较低的调节水平称为‘稳态’系统，因为它们关注于在某些狭义的界限内维持系统的某种状态的相对简单的任务（例如，提高胰岛素或葡萄糖素水平以保持葡萄糖水平在某些范围内）。较高级别的系统称为‘异稳态’系统，因为它们关注于通过“变化中的稳定性”来维持稳定性[19]。这通常涉及通过迂回的方式确保稳定性的更为精致的行为形式（例如，在复杂环境中导航以找到食物源，最终摄入会提高葡萄糖水平的食物）[20]。为了解释应激条件下生物体行为策略的观察到的变化，曾经提出应激引起了‘异稳态过载’，即高能耗的高层（异稳态）系统的失败，使更节能的低层（稳态）系统不得不自行照顾。尽管这听起来直观吸引人，但迄今为止，异稳态过载的机制以及该机制与观察到的行为策略变化之间的关系仍然不清楚。在本文中，我们提供了一个以生物物理学和控制理论的第一原理为基础的对这些变化的解释。在下文中，我们首先更详细地讨论普遍的应激反应。之后，我们讨论了一个通过整合网络理论、系统生物学和自由能原理[21]而得出的有关生命系统结构和功能的共识观点。在这个框架的基础上，我们提出了一个通用机制，解释了在高度应激条件下生命系统信号传导和明显行为的特征性变化。

2. 有机体对高水平压力的共同反应：无序

在一项开创性的研究中，Zhu等人表明，不同物种的细菌对抗生素应激表现出相似的方式[22]。尽管细菌的应激反应包括许多取决于应激类型和涉及的细菌物种的不同基因途径，但当考虑整个系统动力学时（即，当观察整个基因转录活动时，以时间为尺度进行差异mRNA表达度量），仍然可以观察到一种通用的应激反应。当抗生素浓度接近致命水平时，这导致了细菌基因之间通常存在的统计依赖关系数量的减少（相关性减小，但方差仍然很大）。观察基因表达一系列的随机性增加，表现为时间上差异基因表达的时间序列的无序性。这种“无序”可以用统计数量——排列熵——来表达，它是描述系统各组分之间关系的协方差模式中观察到的随机性的度量（详见框1）。

Zhu等指出，观察到的无序度上升是由独立响应的基因产生的大振幅变化导致的，而这种独立性可能是由于通常同步基因活动以产生有序性的调节连接的丧失（见图2）[22]。事实上，细菌基因表达时间序列中的排列熵水平可以预测细菌的适应性（定义为细菌的生长和存活率）。与依赖于特定基因途径的表达谱的标准技术相比，这种预测具有更高的准确性。这使得医生能够选择对某些类型的细菌感染有效的抗生素，即使在不完全了解特定细菌应激反应中涉及的具体基因途径的情况下。

由于（加权）排列熵是全局系统动态的一个度量，它包含了先前观察到的相关强度、方差和（自）相关的变化，这被认为是临界减速的典型特征（见框1）。排列熵测量似乎具有与传统的CSD测量相媲美的实用性。例如，在生物组织的所有尺度级别上观察到排列熵水平上升，从基因和单个细胞到组织、器官、生物体和社会群体[26]：单个细菌的死亡与多细胞生物的崩溃、生物体群体或整个生态系统的崩溃遵循相同的动力学[27]。无序度水平的提高影响了生物体的内部信号传导和外观可观察行为。例如，当空气污染水平较高时，果蝇的飞行模式变得异常[28]。在水质恶化时，水蚤、贻贝、鱼类、海豚和鲸鱼的游泳模式变得越来越无序[29–31]。当受到压力时，人类的运动模式显示出增加的随机性[32]。与传统的CSD测量一样，排列熵能够预测生物系统中临界点的出现，这标志着疾病（或死亡）的突然发作。例如，细菌在抗生素应激物质下死亡，植物在长时间干旱中死亡，或者在恶化环境中珊瑚褪色，这通常是可以通过升高的排列熵水平预测的离散事件。这些发现激发了使用排列熵作为早期警报系统的一部分，以监测植物和动物福祉的想法[29–31,33]。在人类中，系统失败的早期预警征兆通常先于（突然的）身体或精神疾病的发作[3–5,26]。这种知识正在逐渐应用于医学实践。排列熵水平可以预测血液感染的发作[34]，以及传染病在人类群体中的传播[35]。在心脏病学、神经学和精神病学中，对癫痫发作、心律失常以及重大抑郁症或精神病性疾病的早期预警征兆的了解可能使及时采取对策成为可能[5,26]。这些观察强调了“无序度”作为早期警告信号的实际价值，并促使进一步研究这一现象的最佳描述符及其可能的原因。

将排列熵的概念用作衡量挣扎系统信号变化的单一简约度量具有实际意义，因为它降低了计算的复杂性。然而更重要的是，这一概念性的步骤可能有助于更好地理解可能导致CSD的机制。一方面，挣扎系统中存在通用的早期警告迹象可能只是一种巧合，许多不同的无序度的原因加载到一个如此通用的数量（排列熵）上，以至于它无法提供有关生命系统的任何有用信息。另一方面，这样的相似性可能表明，在组织的不同尺度级别上，有一个共同的生物物理原则是无序度的基础[27,36]。在下文中，我们通过展示相似的生物物理规则支配不同尺度级别组织的生命系统的结构和功能，为后一种观点辩护。我们展示生命系统是分层组织的网络结构，其中高度连接的组件（中枢）维持高层次的变态控制。然后，我们展示了压力可以根据自由能原则[37,38]等式化为变分自由能，并且高水平的压力（自由能）特别导致网络中最连接的节点（中枢）过载和失败，因为它们首先达到自由能耗散的极限。由于中枢将系统的各个组件保持在一起并保持同步（就像马车夫使一队马保持稳定一样），这种结构的失败产生了失同步和无序，包括上述通用的早期警告迹象。我们认为关键连接结构的（变态）控制丧失不一定局限于生命系统，而可能反映了一个普遍的开放耗散系统的特征，即这些系统负载超过了其将能量耗散回环境的能力。最后，我们展示了所提出的无序度概念如何适用于一般的疾病过程，特别是人类的情况。

（3-6节自由能相关可以略读；已移至文末）

7. Disorder: A Collapse of Hierarchical Control

我们现在转向根据分层贝叶斯控制系统的作用来解释生物体明显普遍的应激反应，如前面部分所述。总而言之，这种一般反应由以下要素组成：

首先，压力水平的上升会导致生命系统内部信息传递发生特征性变化。这些涉及到生命系统各个组成部分之间观察到的（自）相关性和方差强度的增加。这种情况发生在一个离散的“临界点”（或分叉点）之前，之后（自）相关性下降，但方差仍然很高。这种变化由排列熵的单个变量捕获，这表明生物体内信号转导的动态变得越来越无序，直到达到临界点（图 1）。这种变化与临界减速（CSD）现象相一致：系统扰动后的延迟恢复。当系统超出临界点时，相关性会降低，但方差和熵水平仍然很高，直到系统完全失效。

第二条规则是，生物体明显行为的时间序列遵循与内部信号转导相同的模式：紊乱水平逐渐上升，直到达到临界点。

第三，不断上升的压力水平会以一种明显普遍的方式改变生物体的行为内容：低水平的压力会引发常规（反射性或习惯性）的行为政策，而适度的高水平压力会导致生物体表现出更复杂的（目标行为）。定向）行为形式。当暴露于极端（接近致命）水平的压力时，行为从“慢”行为政策转变为“快”行为政策[14]，即生物体将其焦点从对其他生物体和生殖活动的长期承诺转移到以下行为：主要关注自我和/或亲属的保护。这对应于从目标导向行为向习惯行为形式的转变。

最后，当生命系统在经过临界点后仍然面临挑战时，它们会故意解体（即失去对环境的独立性）。系统的状态现在将线性地跟随环境的状态，相当于失去稳态（即不稳定的高熵状态）。这些临界点通常对应于故障、疾病或死亡一个系统的。（GOOGLE翻译）

这些观察结果的总和可以通过查看分层贝叶斯控制系统的行为来解释，如图 5 所示。我们认为“预测误差”可以解读为“压力”，“行动”可以解读为“压力”反应”，使得主动推理理论可以应用于压力研究[21]。在这个观点中，环境条件的任何变化都可能改变生物体对世界的感知，从而与生物体对世界的预测模型（目标状态）产生不同的匹配。这种预测误差（“压力”）被用于调整预测模型（即信念更新，学习）并转化为行动（应激反应）。因此，当我们感到有压力时，实际上我们感知到构成对预测误差的应激反应的心理和身体变化。顺便说一句，这意味着压力可以通过两种根本不同的方式减轻：要么执行一项行动，要么改变期望或信念。这个观点在心理学文献中具有很大的影响力，并且在全球范围内得到应用，例如在认知行为疗法（CBT）中[113,114]。

如第5节所述，预测误差在目标层次中的上升为世界的层次模型增加了层次，直到达到足以解释观察到的效果的复杂程度。然后，相对于该模型的预测误差被用于激发相应层次的行为，从简单的低层次反射性（例如行走）或本能的行为形式（例如觅食）到习惯性的（例如散步）和目标导向的行为形式（例如在复杂环境中找到通往食物来源的最短路径）。当预测误差（压力）在信息瓶颈结构中上升，例如图5，这会导致越来越多的低层次系统（马）被越来越少的高层次枢纽区域（驾驶员）“奴役”。因此，预测误差的不断上升最初会增加中央协同治理的数量（自上而下的层次控制），使下属系统变得越来越同步（协同）。因此，我们提出，在轻度到中度范围受到压力的系统的各个组件之间观察到的相关性增加是由于由高层次枢纽结构（图5）施加的中央治理的增加。同样，我们提出，观察到的这些系统总方差的增加可能是由于招募了越来越多的从属系统。这是因为这些子系统中的每一个都会产生其自己在级内和级间振荡之间的预测和预测误差单元，这对应于唯一的振幅和方差（频率）。由于枢纽结构的加入增加了系统组件之间的连接性，因此这些组件之间的递归连接的数量也可能上升。因此，子系统将通过循环因果连接越来越加强彼此的活动，以至于受压力的系统需要更长的时间来从初始扰动中恢复。这可能解释了滞后或“减速”的现象，如上升的自相关所量化的那样（参见第1节）。总的来说，这些变化可能会影响系统的排列熵（Box 1）。

一方面，由枢纽结构施加的中央整合治理的增加同步了较低层次（从属）域之间的信号传导，这带来了一定程度的秩序并降低了系统的排列熵。然而，

另一方面，每增加一个层次到层次模型都会增加描述系统的总状态和演变所需的微状态（和微方差）的数量。由于描述系统的总状态和演变所需的信息量等于其（加权的）排列熵[23]，招募额外系统将提高熵得分。

因此，通过枢纽单元的“同步秩序”和“通过招募额外子系统引起的混乱”之间将会达到平衡。这种平衡在轻度到中度范围内的不同轨迹上有时可能更有利于秩序或混乱，但经验证明，不断上升的压力水平最终会导致排列熵水平的净上升（参见第1节）。尽管生物可以招募越来越高（通过动态稳态机制）的控制水平以增强它们的（压力）响应的复杂性，但这并不能无限进行。由于任何层次结构都是有限的，因此对于生物的建模和问题解决能力必须有一定的限制，即某些预测错误甚至不能被生物能够产生的最复杂的模型所抑制。这些模型被编码在目标层次结构的顶部（蝴蝶结的结），其中包含系统中一些最中心的枢纽结构。当预测错误达到目标层次结构的顶部时，这些高层次的枢纽结构不断受到来自网络结构内任何方向的预测错误（刺激）的触发。为了应对这种过度刺激，枢纽需要比它们可以获得的代谢能量更多。当能量需求超过能量供应时，这会导致枢纽单元充血和关闭：这种现象称为“枢纽超载和故障”[115]。这可以类比为高层次的马车夫被需要控制的马匹数量所压倒。在生物物理学术语中，枢纽单元达到了它们将能量释放回环境的能力的极限。研究表明，网络中连接最多的节点（枢纽）对这种超载最为敏感[116]。这意味着高度的压力会选择性地瞄准生物系统中的枢纽结构。尽管小世界网络系统被认为对节点和链接的随机攻击具有鲁棒性，但它们对枢纽节点的有针对性攻击非常敏感[117]。由于枢纽节点维持了生物网络系统的全局连接性，对这些单位的选择性瞄准将导致这些系统以自上而下的方式分崩离析，作为节点度数的函数：仅失去少数高层次的枢纽将导致信息流被中继到网络的从属部分的枢纽结构，然后可能过载等，直到系统只能实现低水平的性能（图7）。

诸如这样的级联失败已经在电力网络、交通网络、股票市场[118,119]以及生物系统[51,52]和社交网络[120,121]中有所描述。由于最复杂的模型是在目标层次结构的顶部产生的，因此层次结构自上而下的崩溃迫使生物从动态稳态（更复杂和目标导向）转向稳态（不太复杂和习惯性）的控制水平。据我们所知，这是对“动态稳态超载”现象的首次机制解释，这可以被视为在严重压力下行为政策转向“生存模式”的过程理论（例如，[18]）。重要的是要注意，这种枢纽的丧失最初是功能性的，即它们对刺激变得不响应，但保留它们的结构连接，导致功能性但不是结构性连接的丧失。当枢纽超载持续存在（即压力是慢性的）时，枢纽可能会变得永久性不响应，导致结构性连接的丧失和系统完整性的永久性损害[122]。

级联失败通常涉及临界点的出现[123]。变化的突然发生似乎是因为在某个临界点，只需要一个小变化（例如，单个枢纽节点的过载）就足以引发导致层次结构大部分崩溃的连锁反应[118,119]。目标层次结构的崩溃将使网络的下层结构失去中央引导，导致状态的功能整合（有序）和隔离（无序）之间的平衡向非同步和‘无序’倾斜（例如，马车驾驶员倒下后，马匹会惊慌失措并开始狂奔）（图2和8）。这可以解释在严重挣扎系统的时间序列中普遍观察到的排列熵突然上升。枢纽超载和级联失败可能类似地解释了系统组件之间相关性数量和强度的减少，这是由于中心整合连接（缰绳）的丧失。相反，方差仍然很高，因为下层系统不再与更高层的先验相耦合和抑制，但它们不断受到传入预测误差的激励。对下级系统的这种过度激励在心理学科学中被称为‘去抑制’[124]。独立响应和去抑制的微观状态的大规模参与可能对排列熵得分的上升产生重要贡献（见第1节）[22]。

因为失败的系统特征是低水平的（自）相关性和高水平的方差，这意味着系统的振幅与误差（信噪比）比率降低。在主动推理理论中，信噪比称为信号的‘精度’（即表达信号信息正确性信心水平的数量）。因此，应激超载是一个过程，其中通过减少模型复杂性成本来降低长期精度（有关这种权衡的数学描述，请参见[125]）。从进化的角度来看，这是有道理的，因为应激的生物可能会迅速作出反应，但在行动上不够精确，只要这样可以节省能量和资源。节省能源和资源。这种机制的一个优点是生物体将不得不花费更少的时间和精力来整合大量复杂信息（即降低模型复杂性成本）。预测误差现在可以通过跳过连接从输入区域传递到输出区域，同时避免在更高级别的吞吐量区域（目标层次结构）中进行大量处理（图 7）。这使得生物体能够更快、更强烈地对某些情况做出反应（抑制解除），为它们提供逃离可怕情况所需的优势。然而，缺点是目标层次结构可能变得如此浅薄和嘈杂（即，不复杂和不精确），以至于相应的行为策略将缺乏与环境的层次对应性，并且无法有效地抑制预测错误。换句话说，过于扁平化的目标层次结构会产生“适应不良”行为。这种低效的问题解决将导致系统在初始扰动后需要更多时间才能安静下来，这会加剧（严重）减速的现象。因此，除了内部消息传递的变化（例如如上所述的系统组件之间不断重新激励系统的循环因果循环）之外，严重的减速还可以通过适应不良行为对预测误差的抑制不足来解释。

总之，我们预计低至中等水平的压力会产生净转变生活中功能分离与信息传递整合之间的平衡有利于通过枢纽结构进行功能整合的系统，对应于逐步的（自）相关性、方差和排列熵分数的上升。当压力水平进一步增加，达到一个临界点，在该临界点处，轮毂结构的中心一致性突然丢失，导致排列熵分数急剧上升。这些结论在与实验数据一致，显示网络拓扑的变化如何有助于临界点的形成[10]。我们的模型似乎解释了一些一般性的变化在压力水平不断上升的情况下，生命系统的内部信息传递。下一段重点关注挣扎中的有机体的明显行为的变化。

正如观察到的那样，生物体产生的各种行为形式反映了其内部状态的复杂性水平。因此，影响应激生物体内部信息传递的变化将产生可以在外部观察到的行为变化。为了解释应激生物体从高级目标导向（应激）向更低级的习惯性甚至是反射性（恒稳）行为形式的转变（请参见第5节），我们提出目标层次的自上而下崩溃导致生物体从高水平的目标导向（应激）转向更低水平的习惯性或甚至是反射性（恒稳）行为形式（请参见第5节）。由于高水平的目标状态负责在空间和时间（过去、现在和未来的情境，以及逐渐增加的复杂性）中因素化各种上下文因素，这种模型的崩溃将导致生物体追求不太复杂和更短期目标：一种行为的‘去情境化’（请参见第6节）。由于目标层次的顶部编码了在空间和时间中最高级别的复杂性（即上下文集成），这可能解释了为什么长期和社会包容性（规范）目标往往首先消失。生物体将转向更短期和更具社会选择性的行为形式，这可能包括从代际和互惠利他主义转向亲缘选择（‘裙带关系’）和自我保全，潜在地以其他生物体和亲属为代价（例如啮齿动物的母性食子行为）。用贝尔希特的话来说，“先是吃，然后是道德”（先是食物，然后是道德）。规范性目标状态的崩溃可能加剧自我与他人的二分法，这可能表现为群内与群外行为的增加（极化）。当压力持续存在时，外部（社会）和内部（自我）模型可能是下一个崩溃的目标。当外部模型瓦解时，个体将对他人的目标或意图制定不太复杂的模型，因此行为将似乎变得越来越非社会性。这意味着甚至某些形式的反社会行为（例如欺骗）可能会减少，因为这些行为需要对他人的动机和意图有一些洞察力（见下文）。社会目标层次崩溃的行为迹象可能包括较少的（长期的）亲缘促进活动，如父母或祖父母的投资。除了（祖）父母为子女而牺牲的令人钦佩的个体差异可能是个例外外，严重和长时间的压力水平通常会导致生物体在长期和社会包容性政策上进行节约，以便专注于自我保护，甚至可能危及自身。当内部（自我）模型瓦解时，这会导致支离破碎和无目的的行为。总的来说，这些变化可能会转化为行为时间序列中的排列熵水平上升，包括减少的（自动）相关性和高水平的方差等组成元素（见下文）。当目标层次进一步崩溃时，系统组件之间的解耦可能变得如此严重，以至于整个系统崩溃。系统的内部状态将线性地跟随其环境的状态（即完全失去恒稳性），通常对应于疾病或系统的死亡。简而言之，中枢综合控制的超载和级联故障可能解释了在应激水平上升的情况下生物体的几个通用行为特征。

8. Permutation Entropy as a Universal Disorder Criterion

在前一节中，我们展示了生物系统可以被建模为分层贝叶斯控制系统，在这些系统中，中枢综合（allostatic）控制由于压力水平上升而以自上而下的方式崩溃，这可以被定义为预测误差或变分自由能。鉴于许多观察结果表明，类似的行为在非生命系统中也可以观察到，人们可能会想知道是否存在更普遍的规律来解释生命和非生命系统中的这些变化。在本文中，我们通过展示生物系统是一类特殊的开放耗散系统，适用于其中一般规则，来支持后一种观点。开放耗散系统是一组耦合的节点，它们从周围接收恒定的能量或物质通量，需要以最有效的方式摆脱（耗散）这些能量[126]。实验研究和体内实验证明，网络节点以嵌套模块化（分层）结构组织自己并开始振荡时，网络可以以最有效的方式将能量耗散回其环境[127]。显然，小世界网络（例如，生物系统）的短路径长度和嵌套模块结构是由于其节点需要以尽可能有效的方式将能量耗散回环境的必要性。对于振荡的出现，例如在基因活动、胰岛素分泌、神经元放电率或社交节律中，也可以说相同的事情。明显，为了以最有效的方式将能量耗散回环境（即减少变分自由能），生物系统已经找到了一种临时保持其局部形态和秩序的方法。这意味着当自由能量（压力）不能被迅速耗散到环境中时，生物系统将失去其内部的一致性并崩溃。我们认为这基本上是在任何负载超过其耗散能力的自由能量（压力）的系统中发生的：这种能量的积累将导致系统组件的瓦解和系统故障（即故障和死亡），导致排列熵得分上升。下文进一步解释了这一点。

在无生命的开放耗散系统中，能量通过系统的流动是通过其参与某种形式的耦合的组件介导的。例如，颗粒介质，如水分子、雪花、沙粒或地壳碎片，充当耦合组件，将化学或机械能量分布到类似组件的网络中[49]。如前所述，对最佳能量耗散的简单需求导致这种系统向具有最佳（嵌套）模块化水平的网络结构自组织[49]。这样的结构特征反过来被认为影响这些系统的动态，产生系统结构和功能之间的动态相互作用[130]。由于嵌套模块化网络系统的各个尺度水平对应于能量流的不同分离和整合水平[127]，这意味着开放耗散系统会自动达到能量流整合和分离之间的最佳平衡。而功能整合对应于通过同步实现某种程度的可预测性（秩序），功能分离对应于通过去同步实现相对随机性的状态（混沌）。因此，耦合振荡器系统自组织形成在秩序和混沌之间的平衡态，被称为“自组织临界性”（SOC）[131]。这个“边缘混沌”[132,133]是一个特殊的位置，其中系统组件之间的耦合水平使能量流能够在网络中自由传播，足以在消失之前引起一些大小和持续时间的节点活动的“级联”；过多的耦合将导致这样的级联迅速消失（当耦合是抑制性的时候）或者相反产生大规模同步（当是兴奋性的时候）；这两种现象都涉及高可预测性或“秩序”的状态。另一方面，过少的耦合将导致缺乏同步和“混乱”。研究表明，有序和无序状态之间的过渡区域是离散的，即这样的区域被称为“相变”或“临界点”（“分岔”、“灾难”、“渗透点”或“制度变迁”）[123]。Tipping points描述了只需很少的能量就足以将系统从一个全局（整合的，有序的）状态推向另一个（分离的，无序的）状态[123]。在非生命系统中，这些状态的例子包括熔点或沸点，例如，冰代表了一个高度有序的状态，水分子之间有强连接，而只需温度略微升高就足以引起氢键的级联失效（即融化），使所有水分子能够更自由地移动。倒是水。倾斜点的确切起源仍然未知，但网络拓扑结构似乎是一个重要因素[10,130]。在耦合振荡器系统中，能量的流动可能会使系统组件以某种方式排列，以致它将到达一个只有几个中心节点负责将系统的所有节点连接成一个巨大的“连接组件”的点[11]。由于能量过载导致其中一些节点的移除可能会触发级联失效[119]，使系统失去全局连接性并从相对有序的状态转变为相对无序的状态。这样的转变可能发生在任何（随机布线的）开放耗散网络系统中，但在非随机布线的（'非平等'）系统中尤为普遍，其中少数关键连接器（中心节点）负责维持全局连接性[134]（图8）。

由于大多数情况下生命系统往往是嵌套模块化和非平等的类型[135]，这可能解释了为什么在受到挣扎的生物中经常观察到临界现象。我们认为，生命系统的非平等性在当今关于临界点或临界减速的模型中尚未得到充分纳入，纳入这一因素可能显著改进这些模型。

在生命系统中，信息处理采用层次贝叶斯推断的形式，这可以等同于在嵌套模块系统中自由能耗散（自由能的梯度下降，参见上文）。对有效能量耗散（信息处理）的需求将导致生命系统自动调整到一种嵌套模块水平和相应的整合（秩序）与分离（混沌）之间的平衡，以实现最佳的信息传递。这意味着混沌边缘是一种条件下，层次贝叶斯推断的条件最佳：太多的耦合（功能整合，秩序）会干扰隐藏因果因素的表达（因此，模型形成），但功能分离（无序）也是如此。相反，生物体会自动产生层次深度（复杂性，见上文）的最佳世界模型。简而言之，热力学的基本定律似乎导致生命系统根据其最佳能力自动产生对环境波动的适应性行为。当自由能（压力）的流入超过生物体的耗散能力时，将达到一个临界点，只有少数几个关键连接器负责维持全局网络连接。在那一点上，即使是自由能水平（压力）的小幅增加也会导致这些结构关闭，触发一个导致系统分解为断开的组件的级联。这将系统动力学推向混沌的边缘，朝着无序和系统失败的方向发展（图8）。目标层次的过度扁平化因此会产生次优复杂性的贝叶斯模型，导致生物体表现出失调或疾病的行为（见下文）。

我们讨论了在严重压力条件下生命系统中混乱的出现。我们展示了严重压力可以被定义为（自由）能量超出开放系统将能量耗散回环境的能力。这导致对维持嵌套模块层次结构的中枢结构的选择性定位。随后的层次结构崩溃涉及从相对有序（同步，整合，适应性）状态过渡到相对无序（解同步，分隔，适应性不良）状态。生命系统中目标层次的自上而下崩溃似乎是过载自由能的开放耗散系统中级联故障的特例。因此，失去控制和突然出现混乱可能是任何因自由能超载而分解的开放系统的普遍特征。因此，排列熵（或任何其他合适的混乱度量）可能作为一种通用的混乱度标准。

9. Disorder as a Universal Measure of Disease

在生命系统中，“紊乱”一词通常用来描述这些系统的功能障碍或疾病。然而，与盎格鲁-撒克逊的科学文献通常使用“disorder”一词不同，荷兰语和德语文献在提及功能障碍或疾病时倾向于使用诸如“disturbance”或“dysregulation”等词语。这种用词反映了一种普遍的直觉，即疾病和其他形式的不适应行为在某种程度上涉及对控制的问题和“秩序”的丧失。在前一节中，我们展示了紊乱的出现可能是超载了自由能量并反映了中央整合治理丧失的开放耗散系统的一种通用特征。在困难条件下，生命系统中不断上升的紊乱水平、临界点和其他关键现象的普遍存在表明许多形式的机能障碍和疾病涉及通用的机制（见第1节）。因此，我们提出，任何生理、心理或社会紊乱最终都涉及由于自由能量（压力、预测误差）过量导致的整合性控制的丧失。随后目标层次的过度平坦化会导致次优的推理和不适应的行为。中枢结构的级联失败是我们理论中的关键要素，并且越来越多地被认识为导致身体和精神障碍出现的重要因素。例子包括代谢性疾病中中枢基因的级联失败[136]和癌症[137]、糖尿病中的中枢细胞[116]、神经系统疾病中的中枢脑区域[115]以及精神障碍[138]。研究表明，类似的过程主导了社会等级结构的崩溃和动物与人类社会中社会紊乱的出现（见下文）。然而，这一理论仍需通过系统地检验在严重压力下生命系统中目标层次的层次深度作为关键减缓的标志之一的（排列）熵分数等方式进行验证。由于进行这类研究存在伦理难题，一个有价值的方法是通过在硅内系统中测试这些假设，通过系统地检查层次贝叶斯控制系统的信号传导和明显行为的变化，例如使用层次机器学习技术。在我们最近的论文中，我们对这类研究提出了一些建议[21]。

尽管在生物体中，无序状态通常是不可取的，但这并不意味着秩序总是好的，而无序总是坏的。如上所述，生物体中的信号传导通常处于秩序和无序之间的边缘，反映了最佳信息处理。因此，一定程度的混沌（无序）对于生物体以活泼而有创造性的方式应对环境挑战是必要的[133]。另一方面，过于有序的状态可能会导致故障，例如，当过于控制的层次在下层次系统中对层次消息传递施加过多影响并导致适应性差的僵硬状态时。然而，最终，秩序与无序之间的平衡问题很可能产生高水平的预测误差，导致生物体“失控”，系统动态严重偏向“无序”。

由于预测误差（压力）可以定义为预测与实际感知之间的差异，它基本上是一种相对的度量。这意味着压力的原因可能既存在于个体身上，因为它表达了一些罕见或极端的设定点（编码难以占领的罕见或极端生态位），也可能存在于环境中，因为环境本身可能是如此罕见或极端，以至于它不适应其他经常表达的设定点。在这两种情况下，压力可能增加到足以导致目标层次崩溃并引发混乱的水平。例如，嗜热或嗜酸的细菌可能在温泉或极端酸性条件下茁壮成长，但在更常见的条件下可能无法茁壮成长，而这些条件在其他大多数生物体来说本来是有利的。相反，对于将相当普遍的环境生态位编码为世界模型的大多数生物体，它们在对毒素或超高温度等进化“陌生”应激因素的响应中可能表现出高水平的预测误差。这表明我们提出的压力和混乱概念在根本上是相对的：一组先验（恒温器、目标、世界模型）可能使个体与其当前环境相匹配并保持稳定，而在某些其他生态位中可能产生压力和混乱。然而，压力和混乱的相对性并不影响我们能够客观地确认它们的存在。

由于失去整合性控制可能解释混乱的出现，我们现在将探讨它如何适用于特定的人类视角，通过讨论压力如何在个体内、人际关系和人口层次产生混乱。这些层次是精神病学作为一门医学学科的主要关注点，其传统关注于心理疾病的生物、心理和社会决定因素[139]。这代表了一种新颖的方法，给出的示例可以看作是进一步研究的途径。

10. The Human Perspective: Disorder at the Individual Level

人类，就像其他动物一样，可以被建模成具有目标层次结构的层次贝叶斯控制系统，这些系统编码了他们希望探索的生态位。然而，一个关键的区别在于人类世界模型的更高级，使它们能够以高度简洁和抽象的方式表示复杂的生态位（如前所讨论）。由于人类天生具有社交性，他们的目标层次结构通常包括社交目标，例如关系、就业和社会地位。因此，社交压力，例如在寻找合适的伴侣或工作方面遇到困难，或者未能及时实现特定社会地位，可能导致压力和紊乱的出现，当个体在追求这些目标时遇到阻碍。

在精神病学领域，已经有一段时间以来人们知道至少存在两种不同类型的精神障碍。一种涉及的是发作性障碍，这代表了相对于先前达到的心理功能水平而言的暂时性下降（例如，惊恐发作、重度抑郁或精神病发作）。这些障碍通常在相对离散的时刻出现和解决（例如，几小时或几天内），表明存在临界点[4,5]。精神疾病的另一种类型涉及特质障碍，其中患者表现出一系列稳定的心理特征，这些特征共同增加了在较长时间范围内发作性障碍的风险（例如，回避性、依赖性或边缘性人格特征）。

关于急性或发作性障碍，有人提出这类障碍代表了各种形式的“错误推理”，即自上而下的预测和由预测错误进行的自下而上的信念更新之间的次优平衡[140]。有趣的是，这种信号和预测错误之间的整体平衡受到信号的“精度”控制，即它们的信噪比，它表达了信号传达的信息正确性的整体水平（见上文）。一方面，这类推理问题可能涉及“超精确先验”的出现，这些模型过于主导抑制预测错误，几乎没有为观察到的事件提供替代解释的空间（这可能解释了例如幻觉、妄想、恐惧症和其他焦虑障碍的发生）。另一方面，预测错误可能变得过于精确，信号传达一致的不确定性时具有很高的信心，并为系统在观察到的事件上达成合适解释留下很小的空间（这可能解释了例如不满、空虚感、病理性怀疑和强迫症行为）[140]。

请注意，通过假设过低精度的先验和过高精度的预测错误，可以解释相同的心理问题：所有这些变体可能以神经递质和细胞结构的（表观）遗传变异的形式存在，这可能解释了不同亚型的精神障碍[141]。如前所述，高强度的压力会导致生物系统中精度水平的净降低，这可能调节精度平衡并导致次优的推理。在人脑中，信号的精度由神经调质性神经递质（如5-羟色胺、去甲肾上腺素、多巴胺和乙酰胆碱）控制[140]。在精神病学中使用的大多数神经营养药物都会调节这些神经递质的释放，这可能有助于纠正精度平衡并减轻症状[142]。

精度平衡问题为各种形式的精神病理学提供了一个可能的解释，但本身并不能解释这些现象的阶段性与慢性性质[21]。因此，我们提出，阶段性障碍是由于目标层次在应激反应中（暂时性）崩溃引起的，而特质障碍则是由于这些层次无法正常发育引起的。

在阶段性障碍中，目标层次的级联崩溃可能会减少整合控制，直到系统越过混沌的边缘，产生临界点和紊乱。这可以类比于多层恒温器的级联故障，然后发出错误的数值，导致加热房屋时出现问题（产生不适应性行为）。另一方面，在特质障碍中，人们可能会继承或获得一组先验（恒温器设置），这些先验编码对某些（社会）生态位的偏好。当这种先验设置与环境的实际状态不匹配时，可能会出现预测错误（压力）和紊乱。例如，人们可能在探索新环境或避免负面结果方面存在差异。当环境与这些偏好相匹配时（例如，在大峡谷边缘的肾上腺素寻求者，或者在电视机前的沙发土豆），预测错误和“压力”是最小的，而紊乱距离较远。当情况相反时（即，肾上腺素寻求者坐在沙发上，沙发土豆生活在边缘），适应性较差，可能会出现紊乱。在这方面，具有极端先验设置（“气质”）的人可以与在极端环境中茁壮成长但在其他环境中不能生存的极端耐热细菌或设置高温度恒温器值的中央供暖系统进行比较。这些系统在炎热的气候中表现良好，但在寒冷的气候中会过热并损坏，因为它们无法达到某个极高的目标温度。这些先验设置越是罕见或极端，个体要找到同样罕见或极端的生态位就越困难。因此，生态位探索可能需要很长时间，因此会发生慢性预测错误（即慢性压力）。这增加了目标层次崩溃和阶段性障碍发生的机会。

幸运的是，人们并不仅仅继承一组固定的先验，必须在其余生命中应对。先天先验通过一种持续的信念更新过程进行调整，使它们能够与环境条件妥协。此外，人们通过目标层次的垂直发展可能获得额外的（预测性）控制水平。这涉及在个体发展过程中向分层控制系统添加分层层次[143]。在这些连续的分层层次内进行的信念更新总体上对应于巴甫洛夫式、习惯性和目标导向的学习[20]。因此，人们“培养”了一组世界模型，这些模型编码着越来越复杂的（社会）生态位，整体上涉及内部（自我）、外部（社会）和交叉（规范）模型。这些高级模型的组合可以被称为“性格”，气质和性格成熟的结合被称为“个性发展”[144,145]。性格发展可能使人们最终找到合适的（社会）生态位，即使他们的先天先验（气质）是罕见或者以其他方式极端的。当性格发展因某种原因失败时，结果将是更不成熟的世界模型，将导致人们寻找次优的（社会）生态位（即表现出不适应性行为）。这种较浅的世界模型更有可能在压力下崩溃，并达到系统倾向于处于无控状态的层次深度以下的阶段，产生紊乱。这将是一种可测试的模型，解释具有特质障碍（如ADHD、自闭症谱系或人格障碍）的患者中发生阶段性障碍或“危机”的出现。

不同心理障碍中出现的具体现象学可以通过观察分层贝叶斯控制系统的一般架构进一步解释（图5和图6）。根据这种结构在压力下的崩溃的位置和深度，可能产生不同的症状[21,140,146]。由于压力优先影响目标层次结构的整合顶部，因此在阶段性障碍中通常可以观察到从目标导向到习惯性、本能性，甚至是反射性行为的自顶向下崩溃（第6节）。这可以解释为什么在不同形式的心理疾病中，无论涉及阶段性还是特质性障碍，自我功能下降、人际功能下降和/或规范功能下降（高层次目标导向功能崩溃）是一个普遍的特征（图7，第7节）[147,148]。由于专门的大脑区域的功能整合对于维持意识和适当认知感非常重要[149,150]，由崩溃的层次结构产生的功能分离可能解释了在自我参照、社交或跨个体目标方面的意识丧失。

当内部（自我）模型变得不那么复杂或精确时，人们报告难以体验到一种一致的自我感觉。根据这种缺陷的深度，这可能涉及症状的变化，从缺乏代理权或自主权到一种脱人化、解体或分裂性障碍的感觉[151–153]。

当外部（社交）模型参与时，人们可能对他人的需求和意图毫无察觉（难以进行心理揣测）。这可能导致频繁的误解，对事件产生偏执解释，或阻止个体体验到共鸣感（即对他人产生兴趣，关心和信任他人）。

当跨越（规范）模型参与时，人们可能表现出在更大的个体差异和时间框架（代际）上感到连接的能力降低，或者体验到生活缺乏固有意义的经历：这种状态被称为“士气沮丧”。士气沮丧似乎存在于几乎所有形式的心理疾病中，可以说这是人们寻求治疗的最重要原因[154]。这可能可以解释为压力首先导致目标层次结构的最高区域崩溃，我们提出这包含一个贯穿（规范）层次结构，负责生成我们的“最高目标”。这样高层次结构的崩溃可能会产生层次结构下方的问题。例如，

输入（感知）层次结构的失败或解禁可能会产生幻觉和其他感知扭曲，

而情感层次结构的解禁可能会产生焦虑或情绪障碍，

而当输出（动作控制）层次结构涉及时，这可能会产生执行功能的问题（例如，失去实践和运动或内分泌规划障碍）。

总结一下，可以起草一个精神障碍的层次分类体系，将其与层次贝叶斯控制系统中不同层次和位置的次优推理相联系。这个想法与精神障碍的传统（分类）分类体系有很强的关系，如《精神障碍诊断与统计手册》（DSM-5）所述：精神病理学的层次分类体系（HiToP）[155]。积极推理在神经科学和生物学中的扎实基础有望将另一种替代的分类系统（RDoc）纳入临床实践，该系统更强调精神障碍的神经生物学基础[156]。根据DSM-5，如果一组心理状态和特质在某种程度上对日常个人功能（如保持关系，管理工作或进行日常生活活动）产生“显着影响”，则符合障碍的定义。这为“障碍”的定义引入了一定程度的主观性，这是相当有价值的，因为客观指标可能忽视了主观体验方面的一些关键因素，这些因素可能对确定个人痛苦的程度至关重要。

另一方面，这种主观性使得难以量化和比较心理状态。因此，我们建议使用排列熵作为客观障碍标准，可以用来将生物学组织不同层次的“障碍”与主观体验和个人痛苦联系起来。这可能包括在遗传、神经生理学、心理测量学、社会或人口统计学等不同层次计算排列熵分数，以便量化各个层次的障碍（参见第1节）。

此时，重要的一点是障碍并不总是可以在个体内部测量，而是应该在个体周围的环境中测量：所谓的“内化个体”有一种倾向，即模拟经验到的预测误差的隐藏原因，并通过自我纠正活动来解决这些错误（例如，通过修订他们的假设或通过采取行动来应对假定的内部缺陷）[157]。在这种情况下，任何压力或障碍更有可能在个体内积累，并呈现为精神障碍。相反，外化的个体倾向于将经验到的错误的隐藏原因投射到自己之外，并通过执行旨在纠正假定的外部问题的行动来减少预测误差（相对较少地更新他们的自我模型）。在这种情况下，压力和障碍更有可能在环境中积累，而不是在个体本身[157]。因此，我们的模型显示，即使个体本身没有显示出任何压力或障碍的迹象，他们仍然可能“有问题”，因为他们在他们的环境中引起了大量混乱。这与DSM-5中的当前障碍标准有所不同，后者规定为了被视为障碍， 必须“发生在个体内部”并引起“临床上显著的困扰或功能障碍”[158]。因此，对精神障碍的更相对的定义将包括那些始终睡眠良好但同时产生不成熟模型和相应行动，使其环境陷入完全混乱状态的“稳定个体”。这个例子说明了一个个体的不适应行为可能传递给其他个体，对应于一个尺度转变。这将在接下来的部分讨论。

11. The Human Perspective: Disorder at the Interpersonal Level

最近的研究表明，自由能原理可以用来模拟动物和人类社交网络中的信息传递（即通信模式）[159,160]。已经提出了一个模型，其中一个个体监视另一个个体的行为输出，以推断观察到的行为背后隐藏的共同原因（即其含义或意图）。为了理解彼此的意图，生物体必须同步它们的反应，在这个视角中定义了一种社交关系。当观察到的行为变得越来越不可预测时，预测另一个人行为背后的意图变得越来越困难。当主体的世界模型变得扁平到与实际世界状态的层次对应关系丧失的程度时，可能会发生这种情况。这种“不适应性行为”以高水平的排列熵（误导，低可预测性水平，参见第1节）为特征。这可能发生在情感或精神障碍的精神病患者中，其中外部世界和观察到的行为之间的连接似乎没有意义（即不可预测）。当某个个体的行为输出足够不可预测（不适应性）时，这可能导致另一个个体的预测错误（压力）水平升高，使这个新个体的目标层次崩溃，并表现出不可预测的（不适应性的）行为。这样的“紊乱”可能随后传递给其他个体或反馈给第一个个体形成一个闭环。因此，紊乱（误导）可能通过社交网络传播（图9）。

在一个极端的例子中，个体1可能对个体2（即他们心情烦躁的邻居）产生的响亮声音感到非常恼火。这使得个体1的压力水平上升到一定程度，导致个体1的层次控制崩溃，随后无法考虑个体2的需求（例如在他们需要帮助时去拜访他们）。基于他们的非上下文模型，个体1然后决定发出一些噪音，使个体2（以及可能还有其他一些人）保持清醒，消除个体2可能拥有的任何残余控制水平。个体2然后回击个体1，依此类推。因此，人们可能在相互之间的复杂、不受调节的反射弧网络中彼此囚禁，这种网络是自我维持的，难以扑灭，因为它们不受更复杂（具有上下文和社会包容性）世界模型的足够抑制（图9A）。这可以与神经性痉挛相比，神经性痉挛是一种通过自身运动反应维持的被去抑制的反射，其作为新反应的触发器。这样的病理性反射是由于更高阶调节功能的消失引起的（例如，由肿瘤或梗塞引起），这些功能通常抑制原始反射弧。类似地，“社交痉挛”可能导致社交关系中的强烈循环（如强烈的人际冲突或共生关系），因为缺乏自上而下的调节约束。事实上，一些研究已经显示，情感状态（如幸福或不幸福和孤独）或精神疾病（如重度抑郁症）可能以类似传染病的方式在社交网络中传播，尽管目前缺乏这种“社交传染”的一般机制[161]。自由能原理可以解释这类效应，将其归因于在缺乏层次控制的情况下通过社交网络传播（失）信息。

以上是一个极端的例子，说明目标层次的崩溃如何导致混乱或失信息通过社交网络传播（无论是在紧密的社交循环中还是在更广泛的社交社区中）。在较不极端的情况下，更微妙的失信息传播可能发生在目标层次仅轻微不发展的情况下，例如在人格障碍或智力缺陷中。这样的“浅层”世界模型可能会产生微妙形式的不适应行为，这可能只会轻微提高其他个体的混乱（失信息）水平，使社交网络变得略微嘈杂。简而言之，通过社交网络传播混乱（不可预测性），以及人与人之间出现恶性循环，是所有沿途目标层次的层次深度的功能。因此，对这种传播的自然抵抗力将是鼓励个体发展成熟和具有上下文丰富性的目标层次（即通过从急性精神疾病中康复，或通过教育或心理治疗;图9B）。人们建立基于其反应可预测性的社交联系的事实突显了以一个贯穿整体的预测模型形式的共享规范集的重要性，该模型通过强调人与人之间的共同点而促进了跨大个体差异的社交连接[106,107,159]。在没有这种高级约束的情况下，自我传播的混乱模式最终可能会泛化到人口水平，使大量个体进入集体混乱状态（例如持续的冲突或战争）。这将在下一节中讨论。

12. The Human Perspective: Disorder at a Population Level

到目前为止，许多研究表明支配不同组织层次上的生命系统的网络结构和功能的“无标度”原则也适用于社交网络。科学家们长期以来一直被社交网络的小世界结构所吸引，这种结构使得地球上的任何两个人只需要通过平均六度的分离就能连接起来[162]。就像较小空间尺度上的生命系统一样，社交群体由一小部分枢纽个体（如国王、女王、总统、首席执行官、流行偶像、影响者、新闻主播、教授、教师和社工等）所维系。大型社交网络一贯展现出嵌套模块化（分层）的信息瓶颈结构，就像分子和细胞层次的网络系统一样[163,164]。这表明社交网络的某些部分致力于个体之间传递的信息的输入（感知）、中间过程（目标设定）和输出（行动）。社交网络还展现出与生命系统中分层信息传递特征相似的动态现象，如振荡、突发事件和定义传染、群体心理病、群体歇斯底里或骚乱传播的临界点[161,165–167]。这些过程越来越多地从生物物理学的角度进行研究，催生了一个被称为计算社会学的新领域[168–170]。信号转导在单个生物体内和社交网络内的信息传递之间存在的许多相似之处已经使学者们将术语“超个体”保留给其中一些集体（如蚂蚁和白蚁群体、蜂巢以及盲鼠社区）。尽管人类一般显示出比超个体的个体代理更大的个体自主性，但有人认为在某些条件下人类集体可以灵活地表现为超个体（例如，[171]）。

尽管有这些发现，然而问题仍然存在，即与多细胞有机体的类比是否止步于此，还是社会系统确实参与某种形式的主动分层贝叶斯推断。为了回答这类问题，未来的研究可能需要考察是否存在个体之间的分工，有些个体主要充当先验（例如，提出假设）的角色，而另一些个体则充当预测误差单元（发出与这些假设的偏差）。例如，科学家或辩护律师可能参与假设生成和证伪的循环因果动力学。然而，与其他生命系统相比，人类个体更有可能根据讨论的主题灵活地转变其社会角色，成为先验或预测误差单元。在更大的空间尺度上，社交网络的蝴蝶结构表明社会网络在集体感知、目标设定和行动控制方面存在全球性的分工。因此，研究社交网络的这些全球领域中社会角色和职业的分布可能是值得的。例如，全球感知可能由记者、科学家和其他有影响力的人塑造，他们向集体提供新信息和事实（输入）。集体目标的设定可能涉及对这些信息进行更抽象层次处理以制定新法律的立法权力（即，一种先验的层次）。这些法律然后由代表议院批评和更新（即，预测误差的层次），之后司法权力将这些更新后的法律应用于发布政策（行动控制）。执行权力机关（输出）然后将这些法律强制执行到环境中（例如，士兵和警察）。在这个模型中，内外事务部门参与在国家层面上生成自我模型和社会模型，而一些哲学或宗教权力机构可能形成跨领域（或规范性）模型。

研究表明，社交网络可能在面对高水平的人际交往时显示社会层次的级联失效（例如，社会指挥链的崩溃）[120,121,165]。在紧张的情况下，社会层次的轻微平坦可能是社会系统在危机时期的一种适应性反应。这可以通过绕过社会层次的顶部进行的复杂处理来加速集体决策的响应时间（例如，在历史上，危机时期会任命一个'强人'来强制议会通过某些决策）。然而，社会层次的过度平坦可能在其较低层产生一种脱抑制的混乱状态[120,121,165]。在社会组织的更高尺度水平上，整合政府的崩溃可能导致社会群体和个体的功能分离，导致加剧的极化和人际冲突[172]。这对应于对集体目标状态的次优推理和在群体水平上产生的不适应行为。与生命自然的任何其他地方一样，这些变化应该转化为在分层消息传递中升高的排列熵（例如，Twitter消息或其他社交媒体）。因此，我们认为'失去控制'基本上是相同的过程，无论是涉及细菌屈服于抗生素，人们发展身体或心理障碍，还是社会系统陷入内战。在这些生物组织的每个尺度水平上，排列熵可能是量化时序中的混乱并采取必要预防措施的一种通用方式。

13. Conclusions

我们回顾了排列熵作为一种通用混乱标准的概念。对于生命系统的变态负荷和在应对压力时混乱的级联故障似乎是对自由能过载的通用响应的开放耗散系统的功能或结构瓦解的特例。在实验证实后，可以使用相同的数学语言描述、预测和理解生理、心理和社会障碍。这一统一原则有助于促进各种学科之间的合作，并敦促科学家推动一个可能加速所有相关领域的发现的共同研究议程。

（3-6节自由能相关可以略读；已移至文末）

3. Organisms as Control Systems

有一类动物，如蚯蚓，在空气湿度接近100%时会不规则地四处奔跑，直到找到适当的地方才真正停下来，这就是为什么我们会在各种角落找到这些生物。蚯蚓并不知道在哪里找到一个湿润且安全避免脱水危险的地方：它们只是不停地四处奔跑，直到偶然发现一个合适的地点，之后这种“奔跑的水龙头”就被关闭了。这种机制与中央供暖系统的工作方式有很多相似之处。这些系统有指示期望温度（例如，22°C，即“设定点”）的恒温器、指示实际温度（例如，18°C）的传感器以及产生热量的加热元件。 之间的差异 (4°C)所需的温度和实际温度被发送到加热器，加热环境直到室温达到预设值。就在那一刻，差异（“误差”）为零，加热器关闭。所有生物体，包括人类，都遵循同样的原则：我们是“控制系统”，试图最小化我们的“设定点”和环境实际状态之间的差异[39]。只是我们的设定点更加复杂，并且描述了比环境温度更理想的状态（例如，合作伙伴、工作和社会地位）。总之，我们设定点的总集合描述了我们偏好的“经济体”：地球上和我们社会中我们喜欢呆的地方以及我们最终将到达的地方，只要这些利基被正确编码并执行正确的行动，以便到达这些地方（图3）。

4 Active Inference

（更多主动推理参考：大模型之外的一种AGI选择：生物智能AGI）

事实上，事情有点复杂：我们的恒温器不仅仅表明我们喜欢体验哪种状态。它们表明我们预计在未来某个时刻会出现哪些状态。这意味着它们对我们环境的预测或预测模型进行编码。这在某种程度上仍然类似于恒温器，因为人们可能想知道这些设备是否实际上表明了我们喜欢的温度，或者 22 °C 的预设值是否实际上代表了对室温的预测，前提是系统继续运行无限期地。事实上，所有设定点都可以解释为预测，并且许多设定点一起作为我们内部和外部世界或优先利基的预测模型。这种多方面的模型被称为“世界模型”[40]。我们感知的世界与我们对该世界的预测模型之间的差异称为“预测误差”[41,42]。这是一种衡量结果，表明某个观察或结果有多么“令人惊讶”，因为结果可能与预测有所偏差。例如，一只青蛙突然被扔进热水池中，会出现很多预测错误。这种误差可以估计其预测模型偏离其感知世界的方式的程度。在生命系统中，预测错误会触发旨在减少预测错误本身的行动（例如，青蛙将开始努力逃离令人不快的环境并返回更安全的地方）。发生这种情况是因为此类行为改变了外部世界（例如，当青蛙移出环境时，环境温度下降）这里描述的是生物如何感知并与环境互动。生物通过感知外部世界的变化，生成对这些变化的预测。当外部世界与预测不符时，就会产生预测误差。为了减少或增加这些预测误差，生物会采取行动，改变其环境，然后重新感知这个变化，形成一个循环（见图3）。因此，行动是一种改变预测误差并测试世界模型“适应性”的方式。（Google 翻译）

预测误差不仅用于引发行动（如中央供暖系统），而且还用于调整模型（恒温器设置）本身：这个过程称为“信仰更新”。这涉及到根据预测误差改变构成预测系统的各个元素之间连接的“权重”的过程[43]。因此，信仰更新是一种学习或适应的形式，允许生物与环境条件妥协。例如，将相同的青蛙放入逐渐升温到令人不快的水池中时，由于它现在有时间调整其预测模型，因此将显示较小的预测误差并保持原地。试验（行动）和从预测误差中学习（信仰更新）的迭代循环称为“主动推理”[42,44]。这是一种通过主动探索环境以获取可能与其对世界的猜测相悖（或证伪）的新经验的过程，之后选择未被证伪的模型作为对观察到的事件最合理的解释的方式[37]。有时将其比作生物体为小科学家[45]，尽管主动推理更普遍地指的是一种推理（生态位建模）和行动（生态位探索和主动生态位构建）的循环过程[46,47]。

在一篇开创性的论文中，Karl Friston运用贝叶斯信息理论的见解表明，预测误差（在某些情况下）等于生物系统（如细胞或大脑）随时间的“变分自由能”的平均量[48]。这意味着当生物体通过主动推理迭代地减少其预测误差时，它们实际上是在试图减少它们的自由能水平跨越较长时间跨度。在这方面，它们与晶体并没有太大的不同，晶体中的离子会自行排列成高度有序的图案，尽管这个宇宙中的所有物体都需要遵守热力学的第二定律（规定它们必须寻求最大混乱状态，即高熵）。相当长的一段时间，人们认为晶体违反了热力学的第二定律，直到发现结晶产生的热量散失到环境中，导致熵（和自由能）水平全球性增加[49]。此外，在许多情况下，离子有序排列成整齐的晶格允许水分子在系统中更自由地移动，这增加了宇宙中混乱（和自由能）的总量。因此，学者们意识到，只要这导致宇宙熵和自由能的全球增加，自然界中的一切最终都需要回归到高混乱的状态，物体可以在局部自行排列成更有序（低熵）的状态。虽然这需要一段时间，但通过找到在这段时间内以最高效的方式失去（耗散）其自由能的方式，生物体找到了一种维持其受限形式和稳定状态（即秩序）的方法，这就是减少预测误差[37,50,51]。同样，一个生物体可以被比作一个滚动到坑中的乒乓球，以使其潜在（自由）能量尽可能低：这个球根本没有选择，因为它需要遵守热力学的第二定律，该定律规定任何物体只要这导致宇宙熵水平的全局增加（在这种情况下，滚入坑中的行为通过热量的形式增加了球体的分子的全局自由度，随后散失到环境中[52]）。在生物系统中，坑的盆地对应于低熵状态（预测误差或变分自由能）的状态，称为“稳态”[37]。因此，主动推理可以被看作是穿越自由能景观的过程，生物体在其中积极尝试滚入表示高生态位模型“适应性”（稳态）的低变分自由能的坑中（图4）。在大多数情况下，这样的低能量状态对应于生物体占据其局部最优生态位。因此，通过变化寻求稳定的整个过程遵循了热力学的基本定律[51]。Friston提出了一系列方程来描述这个过程，这些方程不仅适用于生命的一般情况，但对于这个宇宙中需要尽可能有效地耗散其自由能水平的所有物体来说[53]：一个真正的“万物理论”[54]。在某种程度上，这个理论说明了我们已经知道很长一段时间的事情：通过积极寻找最佳生态位（最小化预测误差），生命系统可以达到稳态（低平均变分自由能的稳定状态）并生存（保持完整） 。新颖之处在于，我们现在有了数学方程来描述这个过程，这可能适用于这个宇宙中的任何物体

5. Organisms as Hierarchical Bayesian Control Systems

在最近的一篇论文中[21]，我们提出了关于使主动推理成为可能的“管道”的共识观点。采取的方法涉及将当前对生命系统结构的了解与对其功能的最新见解相结合。首先，我们展示了所有生命系统都遵循相同的建筑原则，即它们是具有嵌套模块结构的小世界网络系统[56]。这些是网络，其中大多数元素（节点）连接较少，但有些连接较多。这些高度连接的单元（中心节点）确保整个网络具有较小的平均“路径长度”，即沿着最短路径在网络中任意两个节点之间移动时的平均距离。这导致在非常大的网络中小世界网络上的信号传输非常高效（例如，在社交网络中，任何两个人之间只有六度分离，使其“全球都是一个小世界”）。中心节点将网络的部分收缩成所谓的社群或集群[57]。这样的集群本身可以作为更高空间尺度层次的节点，依此类推。例如，细胞器形成细胞，这是更大模块（组织）的一部分，反过来又是超模块（器官）的一部分，等等，直到达到生物体本身的水平。因此，形成了部分-整体关系的层次结构（“部分学”），其中一个生物学组织的尺度水平不能没有另一个而存在（例如，[58]）。这种网络的拓扑结构在各种尺度水平上都是相同的，这就是为什么这种网络被称为尺度不变或“尺度自由”的原因[59,60]。然后，我们展示了所有生物体似乎都遵循相同的网络功能原则（内部信号传导，动力学）。这涉及到分层消息传递和预测编码的组合，Karl Friston已提出了一个共识观点[61,62]。在这个观点中，所有生命系统都参与某种层次贝叶斯推断，即对其内部和外部世界中观察到的事件的潜在（隐藏）共同原因进行建模，并使用新证据更新这些模型。为了完成这一点，生物体有作为先验（预测）单元或作为预测误差单元的节点（图5）。而先验单元编码对世界的某些预测模型，预测误差单元编码模型与新获得的证据之间的差异。这样的证据最初以来自感官的兴奋性输入的形式进入层次结构的底部（图5左下角）。这些输入信号更新先验单元的值，这反过来通过抑制性连接抑制同一层次结构中的预测误差单元的活动。然后，这些预测误差单元尝试通过兴奋性连接更新先验单元的值，产生循环因果动力学（层内振荡）。由于通过（更新的）先验抑制预测误差的压制很少是完全的，因此产生了向上投射到层次结构内更高层次的先验单元的残余预测误差。这些单元反过来通过抑制性连接向后投射，以再次通过抑制同一较低层次的预测误差单元产生循环因果动力学（层间振荡）。因此，每个层次级别都涉及在同一层次内抑制预测误差，以及在更低层次。如上所述，通过预测误差的值通过层次结构更新的过程被称为“（贝叶斯）信念更新”。通过更新的预测抑制预测误差通常被称为层次贝叶斯“信仰”“解释的证据”[42]。通常，预测误差被前馈，直到它们被具有足够层次深度的模型抑制，这个模型最好地“解释观察到的证据”。请注意，只有预测误差被带入层次结构，而不是来自感官的原始输入。相当根本地，这意味着生物体无法直接访问外部世界，因为它们与外部世界之间存在屏障。它们所感知的是对世界的层次模型，它最好地解释了观察到的证据，而不是对世界的直接表示[51,63]。

上述动态被认为是生物体层次贝叶斯推理的基础[61–63]。将这一原理应用于无标度网络结构时，可以看到在嵌套的模块层次结构中，在所有空间尺度的组织中产生和更新贝叶斯信念的过程。每个尺度级别都有一个“输入部分”（一组预测误差单元），连接到一个更高级别的“吞吐量部分”（试图抑制预测误差的较少的先验），然后残余误差被反馈到层次结构的“输出部分”（更多的预测误差单元），以生成输出序列。至关重要的是，该配置中的各种先验和预测误差单元可能涉及网络节点或簇，这取决于观察的空间尺度级别。因此，在每个空间尺度观察水平上，都可以观察到相同的输入-吞吐量-输出模式（一个“前馈回路”[64]）：从仅三个节点的最小尺度（例如，视觉皮层内的神经回路）到包括感知、目标设置和动作控制的全局“层次贝叶斯控制系统”的全球组件，这构成了生物体（图5）。在观察的每个级别上，预测误差在上升输入层次结构时汇聚，而在下降输出层次结构时分散，使结构的整体形状呈现出双层次（嵌套模块）“蝴蝶结”网络结构[60,65]。请注意，预测在上升输出层次结构时汇聚，在下降输入层次结构时分散，形成全局的逆流。信息流可以通过在层次结构中相应级别之间运行的跳跃连接来进行快捷方式，从而有效地使蝴蝶结构折回到自身（图5）。

（了解自由能主动推理可以略过下面3小段）

在形成层次贝叶斯模型时，生物体需要解决绑定问题[66]，即它们需要弄清同时发生的一组事件是否共享一个应该由一个变量（例如，由一个网络节点或簇）编码的单一共同原因，或者这些事件是否代表应该分别编码的单独原因（例如，由单独的节点或簇）。在解决绑定问题时，这些网络中高度连接的元素（所谓的“枢纽”）扮演着重要角色。枢纽可以被看作是一个马车夫，需要控制一队马，同时使用缰绳来感知整个马队的总体状态（另一个例子是一个试图了解团队员工总体状态的中层管理者）。每匹马都与外部世界的一部分保持联系，但马车夫本身试图形成整个情景的图景。这个马车夫本身又可以被看作是一匹马，与其他马车夫（董事）一起受到其他马车夫（总监）的控制，依此类推。最高级的马车夫（首席执行官）因此试图通过这种方式了解层次结构中大多数马的全局状态，通过这种方式编码体验世界的最具上下文集成模型，但仅在非常紧凑和抽象的层面上。同样，生物体包含汇聚到枢纽以形成嵌套模块网络结构（金字塔形状）的枢纽结构，该结构编码了世界越来越集成的模型（图5）。这样的枢纽集合被称为“富俱乐部”，因为它们“连接丰富”[67,68]。在图5中，可以辨别出一个先验层次结构（黑色节点），从层次结构的基础处开始，最终涉及到顶部的几个枢纽簇。这个层次结构中的每个后续级别使用越来越少的独立变量（自由度）编码一个多样性事件背后的隐藏共同原因。这种整合发生在空间上跨多个上下文提示（例如，多匹马同时影响枢纽-马车夫），以及时间上（例如，相同的马表现出更快和更慢的动态，这在层次结构中垂直编码）。换句话说，在层次结构中的每个后续级别以越来越抽象和简洁的方式编码越来越复杂的经济位。因此，生物体试图使用减少的变量来建模其内部和外部环境，但同时最小限度地损失信息，这意味着在层次结构中向上移动时发生了某种形式的压缩[71]。在数学术语中，信息通过一个越来越低维的流形传递（与奥卡姆剃刀相比）[72]。因此，图5中所示的金字塔的顶点（蝴蝶结的结）充当“信息瓶颈”结构[73]，编码生物体可以达到的最高级“复杂性”的经济位。[65,74,75]。术语“复杂性”在这里是有意使用的，因为有人提议将其用于指代预测模型，即其他模型的模型（即递归信仰：对信仰的信仰）[75]。在嵌套模块化的网络系统，如图5所示，更高层次通过集线器节点整合多个较低层次。这种整合跨越了空间和时间中的多个情境线索，导致更高层次的模型以越来越简洁（和抽象）的方式编码越来越长期的对越来越复杂经济位的预测。换句话说，信息瓶颈结构被生物系统用于构建分层贝叶斯模型，使用最少数量的参数（即，最小化模型复杂性成本）。因此，我们更愿意不称呼更高层次的模型为更“复杂”，因为该术语通常用于具有许多参数的模型。较高层次确实传达了更长期、更抽象和更符号化的表示（即，在层次模型下对一组先验概率的联合概率分布）[76]。这导致较高层次相对于较低层次的事件更为独立，即，它们编码具有某种程度自治性和创造性的低层次事件背后的潜在因果结构的模型。这样的“分层生成模型”能够摆脱稀缺和嘈杂数据样本的限制，仍然达到很高的预测准确性，例如[77]。在生物系统中，最高层次编码了在不久的将来或更远的将来需要探索或避免的具有丰富情境的经济位[40]。引用这种经济位的层次预测模型的另一种方式是“目标层次”[20,78]。目标层次编码了生物体需要追求的逻辑经济位（目标）以及相应的子经济位（子目标），以便达到在层次结构顶部编码的全局经济位（目标）目标层次编码了生物体需要追求的逻辑经济位（目标）以及相应的子经济位（子目标），以便达到在层次结构顶部编码的全局经济位（目标）[72]。

正如前文所述，关于目标层次的预测误差不仅用于更新这些层次并产生对世界的最佳通告模型，还用于激发行动 [37,42,51]。分层贝叶斯控制系统是双重层次结构，其中输入层次不断向输出层次提供残余的预测误差以协调行为。当某层次推理中的简单目标状态和相应策略不能解释证据时，残余误差被传递到目标层次的更高层次，在那里，更复杂的世界模型（目标状态）尝试抑制预测误差。任何残余误差然后越过到输出层次的相应层次，以产生相应层次的行为响应。因此，在图5中可以观察到一组红色的中枢节点的层次结构，该结构编码了一组证据的层次结构，与目标层次中的先验结构对比，以产生在匹配的层次结构中馈送到输出层次中的预测误差，以诱导相应层次的行为响应。这样的输出然后用于改变环境并产生不同的经济位模型拟合 [37,42,51]。一个常见的例子是行走：这种（习惯性的）运动模式本身可能足以解决到达食物源的问题，而不需要太多的努力。然而，当地形崎岖时，生物体可能会遇到阻碍其与目标（食物源）之间的障碍物。这种遭遇会产生预测误差，这些误差在层次中上升，直到被足够复杂的经济位模型（目标状态）抑制。相对于这个目标状态的预测误差然后诱导更高层次的行为策略。例如，生物体现在将重新定位自己（对环境进行采样以推断编码更丰富的环境上下文的模型）并计划绕道而行。因此，通过匹配的行动序列，目标及其相应子目标按照逻辑顺序追求，直到生物体达到其首选的全局经济位 [79]。因此，生物体可以被看作是层次化的问题解决机器，其推断出越来越复杂的目标状态和相应的行动-感知序列，直到预测误差被抑制并解决问题。由于每个行为响应的复杂性水平与其相应目标状态的复杂性水平相匹配，而这又与生物体对世界的最佳感知模型的复杂性相匹配，因此生物体会自动产生适应性行为，灵活调整以适应其实际环境的复杂性水平 [21,80]。

有趣的是，输出层次也以某种形式参与推理 [80,81]。在输出层次中，输出器官（如肌肉或内分泌腺）的感觉状态被用来模拟实际正在发生的动作，而相对于这些模型的预测误差被用作向这些器官发送输出信号以进行即时校正（图5）。因此，分层贝叶斯控制系统具有输入层次，试图弄清楚“世界正在做什么”（感知），输出层次试图推断“生物体正在做什么”（行动控制），以及通过层次试图推断“生物体应该做什么”（目标设定）[21]。这些领域与环境一起形成了一个封闭的（前馈-反馈）循环，以实现主动推理。

6. How Information Processing in Living Systems Corresponds to Behavior

为了理解应激如何以一种普遍的方式改变生物体的行为，我们需要了解层次贝叶斯控制系统中不同层次的信息传递如何对应于不同形式的行为。在这个观点中，这种系统中的最低层次产生了基本的刺激-反应模式，称为反射（例如，出汗或唾液分泌或脊髓反射，如运动）。在控制理论中，诸如这些低层反射弧被认为产生“稳态”反射，即对低能稳定状态（稳态）的最直接调节器[19]。当在调节层次中向上移动时，形成了更复杂的行动-感知循环，由基本反射的组合组成，例如，根据典型线索进行战斗、逃跑、冷冻、进食、繁殖、休息、消化、自我修复和（亲代的）照顾等。在进化心理学中，这种复杂的反射被称为本能模式[82]。当在调节层次中进一步向上移动时，形成了更复杂的策略，被称为‘习惯’[83]。这些是对更复杂的感知线索（例如，散步包括行走、休息和消化等的基本反射和本能模式的组合）的自动化反应。最后，调节层次的最高层产生了“目标导向”的行为，这涉及基于动作的明确且通常是长期的后果（感知结果）的预测的非自动化（即需要努力的）行为[84]。这些预测以“模拟”的形式呈现，即如果采取某种行动会发生什么。对于某些动作的预测结果是选择这些动作作为最有可能在多次试验中抑制预测错误的策略的先决条件[20,80]。在控制理论中，目标导向行为被认为是一种‘异态’行为形式，即由分层更高的调节器产生的行为，这些调节器叠加到较低层的调节器上，以通过更复杂的响应来确保稳定性，当较低层和较不复杂的行为形式无法做到时（即“通过变化实现稳定性”）[19]。

在许多次试验和从预测错误中学习（主动推断）的过程中，这些不同形式的行为共同发展。在这个背景下，学习是指一种贝叶斯信念更新的过程，其中对新证据（预测错误）的先验期望进行更新。这种更新涉及到先验之间的连接效率（或完全重连）的改变，这对应于实际的学习过程[43]。信仰更新可能发生在图5所示的先验层次的任何层次上。在层次最低（反射性）的层次上，信念更新产生了一种称为“巴甫洛夫式学习”（经典条件作用）的联想（刺激-刺激）学习形式。在巴甫洛夫式学习过程中，生物逐渐将一个（熟悉的）刺激与另一个刺激联系起来，并对这两种刺激产生相同的行为（例如，狗学会将钟声与食物联系起来，引起预期的唾液分泌）。

在先验层次的“中间”和“较高”层次上的信仰更新分别被称为“习惯学习”和“目标导向学习”。巴甫洛夫式学习和习惯学习已经在各种各样的物种中观察到，包括细菌。尽管目标导向学习通常与“较高”物种相关联，但在“较低”物种（包括细菌）的许多行为方面，与目标导向行为相似[84]。这意味着在不同物种中，根据它们目标层次的复杂性，相似形式的学习和行为以不同程度存在。同样，在物种内，推理能力和行为的个体差异被认为是由于在生物体的整个生命周期中目标层次的发展（成熟）的差异。下一段将探讨在目标层次的顶部编码了什么类型的世界模型，以及它们引发了什么样的行为。之后，我们将研究在不同压力水平下，层次贝叶斯控制系统的变化如何对应于行为策略的转变。

生物体被认为在其目标层次的顶部构建了至少两种不同类型的世界（生态位）模型：其外部环境的模型和其内部环境的模型[85]。这些模型激发了一种主体性感的行为，即区分由生物体本身生成的事件与源于生物体外部的事件的能力[86,87]。前者包括在生物体内部产生的信号，以及由生物体自身产生的体外信号，如其自身运动引起的声音或振动[86]。甚至在细菌的水平上已经观察到基本的自我（与非自我）编码，而在较高的哺乳动物中可能采用更复杂的形式[88]。这些模型在获得复杂性和层次深度时增加了上下文的丰富性，这似乎解释了“较高”和“较低”物种之间的区别[37,51]。自我模型可能包括任何形式的自我表征，如身体形象和心理自我形象[89]。这些模型编码了与自我有关的（个人的）目标，生物体希望达到或尝试的目标。与这些全局目标相关的预测错误激发了旨在通过一系列逻辑的子目标和相应的行为策略实现这些目标的行为[72]。例如，捕食性食物的全局目标需要追逐的全局策略，其中包括躲藏、冻结、战斗和进食等子策略。实现这些目标涉及掌握各种个人技能，从捕猎和采集、建造巢穴到寻找庇护所和掌握生存技能（或人类中的职业技能）[87,90–93]。在较高社会性哺乳动物中，外部世界的模型包括社会模型（“心灵理论”）[92,94]。这些模型试图推断外部世界中由其他生物产生的多个信号背后的隐藏的共同原因，即朋友、竞争对手、伴侣或亲属的意图和动机[92]。相对于这些模型的预测错误激发了旨在通过考虑这些动机来实现个人或人际（社会）目标的行为。这些行为可能涉及攻击或防御行为、求偶仪式、父母投资或哺乳行为等。社会技能的不断提高被称为社会学习[95]。请注意，即使一些形式的反社会行为（例如欺骗或欺诈）也需要社会模型的存在，因为这种行为需要对他人意图的某种程度的了解，这将用于自己的利益。无论物种类型如何，自我模型和社会模型都涉及更多整合（目标导向）的推理形式，这发生在目标层次的较高级别（参见前一节和图5）。在我们最近的论文中[21]，我们表明外部（社会）模型很可能形成输入层次的顶部，因为它们参与推断“外部世界正在做什么”。按照同样的推理线路，内部（自我）模型被认为形成输出层次的顶部，因为它们参与推断“生物体正在做什么”。这些假设在人类大脑中得到了确认[21]，但需要在其他物种中进行确认。由于事件的时间尺度在分层网络中垂直编码[69,70]，自我和社会模型的垂直发展使生物体能够结合对越来越抽象的个人或人际目标的越来越长期的预测。例如，较高级灵长类动物中的自我模型和社会模型已经达到了一种水平，使它们能够在许多年的时间内想象并努力实现复杂的社会地位。

有很长一段时间，人们认为生物体只构建这两种全局模型，即内部（自我）模型和外部（社会）模型。在我们最近的论文中[21]，我们证明了分层贝叶斯推理的原理在逻辑上（以及必然地）规定必须存在一个第三个最高层次的推理，其任务是推断涉及生物体内部和外部世界的事件背后的隐藏的共同原因，在空间和时间中跨足多个上下文因素。简而言之，必须存在一个全面的模型，它在自我和社会模型之间进行整合，以编码一个共同持有的世界模型（共同的经济体）（图6）。相对于这样的模型的预测错误激发了旨在影响这个共同的经济体而不是生物体本身的局部、内部或外部（社会）经济体的行为。尽管在理论上，“共同基础”的知识可以仅对个体或局部群体有利地使用，但由于任何有利于全球目标的行为（即促进全球稳定）最终也有利于个体生物体和局部群体（即促进局部稳定），因此这种知识不太可能产生严格的自私政策。特别是在较高社会物种中，全面模型的垂直发展使生物体能够在越来越长的时间跨度内产生越来越复杂的共同经济模型。相对于这种模型的预测错误激发了旨在促进长期集体稳定的行为，例如跨多个利益相关者平等分享能量和资源的行为（例如协作、食物分享和其他形式的分配公正）、解决冲突情况的行为（例如调解或仲裁）或在所有社区成员都适用的目标被违反时相互负责的行为（违反规范和其他形式的正义的惩罚）。这种规范或守法行为（包括利他行为）在各种生物体中都以某种形式或另一种形式被观察到，从单细胞生物和无脊椎动物到较高的脊椎动物和哺乳动物[96–100]。

而明确的自我-他人二分法似乎标志着亲缘选择（即偏爱亲属而非他人，裙帽关系）和互惠利他主义（即对未知个体的投资）之间的区别[101]，但是全面世界模型的层次扩展似乎通过将行为推向一个越来越包容的（社会）空间并朝着越来越大的（代际）时间尺度，即投入时间和精力改善未来未知个体和物种的稳定性，来缓解自我-他人的二分法[102–107]。这样的全面世界模型使生物能够摆脱与本地自我参照或人际目标固有的极化或裙帽关系，通过诉诸代际不变的共同持有的经济模型。特别是在拥有高度复杂调节层次的社会生物中，这些共享的设定可能采取社区规范或价值观的形式[106–110]。这些目标促进了在大量个体之间实现社会凝聚力，尽管存在实质性的个体差异和实质性的空间和时间界限[111]。甚至将所有生命都视为在这些共同的法则和见解下相互联系的能力（包括宗教见解和相应的情感）可能是由这种最高层次的推理引起的（例如，[112]）。在这方面，值得注意的是“religare”在拉丁语中最初的含义是“重新连接”（在共同的最高法律下，跨越个体差异和时间框架），天主教意味着“（向整体）前进”，伊斯兰教意味着“通过顺从（更高法律）达到秩序/和平”，而“层次”在古希腊语中是“神圣的晋升”。简而言之，生物体很可能在其目标层次的顶部参与最高层次的推理，试图推断生物体“应该做什么”。这样的全面（规范性）世界模型不仅限于较高的生物体，尽管拥有更复杂目标层次的生物体往往表现出更复杂的行为形式（有关定义，请参阅前一节）。