马尔可夫毯、信息几何和随机热力学

Markov blankets, information geometry and stochastic thermodynamics

Abstract ‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

本文考虑了热力学、信息和推理之间的关系。特别是，它在自组织的变分（自由能）原理下探索了信念更新的热力学伴随物。简而言之，任何拥有马尔可夫毯的（弱混合）随机动力系统，即 内部和外部状态的分离——配备有信息几何。这意味着内部状态参数化外部状态的概率密度。此外，在非平衡稳态下，内部状态流可以解释为统计学中称为贝叶斯模型证据的量的梯度流。简而言之，任何拥有马尔可夫毯子的系统都存在自然的贝叶斯力学。至关重要的是，这意味着内部状态执行的推论与其能量学（以随机热力学为特征）之间存在明确的联系。本文是 主题为“协调能源-自主计算与智能”。

1. Introduction

任何研究对象都必须或隐或显地与宇宙的其他部分分开。这意味着一个将其与其他一切分开的边界，并且该边界至少在可观察的时间段内持续存在。在本文中，我们考虑边界调解系统内部和外部事物之间的替代交互的方式。这提供了一种思考生物系统的有用方法，在生物系统中，这些类型的相互作用发生在一系列尺度上[1,2]：细胞膜充当边界，细胞通过它与其周围环境进行通信，并且同样可以 可以说是结合神经系统的感觉受体和肌肉。借助信息几何和随机热力学的概念，我们看到持久的、有界系统的动力学可以被构建为推理过程[3]。具体来说，边界内部的那些状态似乎推断出边界外部的状态。当我们询问如何在给定外部世界当前状态的推论的情况下评估未来轨迹的相对概率时，就会出现一个有趣的结果。这个问题的答案采用涨落定理的形式，该定理说最可能的轨迹是那些具有最小预期自由能的轨迹[4]。这为这些生物的规划和决策提供了一个重要的联系点他们从事时间深度推理[5,6]。接下来，我们尝试建立朗之万动力学的纯数学公式（物理科学中的那种）与生物科学中信念更新（和行为）的描述之间的联系。

本文分为三个部分，每个部分都介绍一个简单但基本的举措。第一个是将世界划分为系统的内部状态和外部状态。这意味着条件依赖性为系统的内部状态配备了关于外部状态的（贝叶斯）信念空间的信息几何。更准确地说，划分意味着内部状态参数化外部状态的概率密度。因此，内部状态空间具有固有的信息几何（从技术上讲，这个空间是一个统计流形）。第二步是通过将它们的变化率表示为非平衡稳态密度的梯度上升，为这些信念配备动态。这样做的关键结果是，由内部状态编码的信念的动态变得与统计学、机器学习和理论生物学中的变分推理一致[7]。第三步是表征轨迹级别的概率密度。通过考虑轨迹的可逆性，我们将前两节中发展的推论动力学与其热力学同系物联系起来。通过相关的波动定理，这意味着推理的热力学（即能量）表征，并且让我们根据其预期自由能来表征给定路径的概率。

2. Markov blankets

(a) Internal and external

本节将边界的概念形式化为马尔可夫毯[8]。简而言之，马尔可夫毯 (b) 是将系统内部部分 (μ) 与其周围环境 (η) 分开的一组状态 - 请参见图 1 中的两个直观示例。如果我们感兴趣的系统是大脑，则内部（神经）状态在统计上通过感觉受体和肌肉与外部物体隔离。

相反，如果我们对芽孢杆菌感兴趣，则细胞膜和肌动蛋白丝将细胞内变量与细胞外变量分开。从形式上来说，这是一份有条件独立的声明。考虑到毯子的知识，系统的内部和外部状态有条件地彼此独立：

另一种表达方式是外部和内部状态对一个人的任何影响另一个是通过马尔可夫毯子来调节的。解开其后果的第一步是注意方程（2.1）的右侧告诉我们，每个毯子状态都与最可能的内部状态和最可能的外部状态相关联。状态。以大脑为例，视网膜活动和动眼角（毯状状态）的任何给定组合都将与最可能的物体位置（外部状态）和视觉皮层中的神经活动模式（内部状态）相关联。

该表达式假设两个概率密度中的每一个都有唯一的最大值。如果违反了这一假设，则可以通过添加附加条件来在替代模式之间进行选择（或通过选择替代统计数据，例如期望）来修复此问题。鉴于每个毯子状态都与这对相关联，我们可以定义一个在两者之间映射的函数：

图2. 信息几何学和马尔可夫毯。左侧示意图指定了将一组内部状态（μ）与外部状态（η）独立，条件是毯子状态（b）的最小条件独立性集合。这些独立性来自两种不同的情况：正如箭头所示，活跃状态（a）介导了内部状态对外部状态的影响，但不受外部状态影响。感觉状态（s）介导了相反方向的影响，并且不受内部状态影响。右侧的图表旨在提供马尔可夫毯引发的信息几何的直观理解。上面两个图表是通过从标准正态密度中生成（一维）毯子状态而创建的。对于每个毯子状态，我们生成了一对二维的内部（μ1，μ2）和外部状态（η1，η2）。这些是从内部和外部状态的条件概率（p(μ|b)和p(η|b)）的双变量正态密度中生成的，其中均值和协方差是毯子状态的线性函数。正如图表所示，这些充分统计量分散在一个低维（统计）流形周围（与毯子状态相同维度的）内，嵌入在更高维度的外部和内部状态空间中。左下图显示了每一对内部和外部状态（蓝色表示每个中的第一个元素，绿色表示第二个元素）。为给定的毯子状态选择最可能的内部状态（μ），我们可以看到我们可以将其映射到相应的外部状态。右下图显示了如何使用协方差（根据拉普拉斯假设）为内部状态关联一个密度（qμ(η)）覆盖外部状态。

这个表达告诉我们，如果我们知道系统的最可能的内部状态，我们就可以确定马尔可夫毯的另一侧最可能的外部状态（图2）。这种映射能够被明确定义的充分条件是从b到μ(b)的映射是单射的。方程（2.3）意味着一种信息几何，它通过分隔它们的边界将两者的统计数据联系起来。

(b) Information geometry几何信息

信息几何的核心思想是，我们可以定义一个参数空间（统计流形），在这个空间中，每个点对应于一个概率密度（例如正态分布的期望和方差）。关于这个领域的全面介绍，请参见参考文献[10]。简而言之，这利用了微分几何的方法来表征一个统计流形。这个表征的核心是信息长度的概念，这要求我们可以在这个流形上定义一个内积。根据拉普拉斯假设[11]，在给定毯子状态的情况下，最可能的内部状态参数化了外部状态的一族（正态）密度（qμ）。拉普拉斯假设是负对数概率（或惊喜）在密度模式附近的区域近似二次型（或者等价地，概率密度在其模式附近是高斯的）的假设：

由于得到的密度的期望和方差都是（最可能的）内部状态的函数，因此内部状态的空间现在指定了外部状态上的概率密度空间。为了描述这一点，我们需要借鉴微分几何中的一个重要概念。这就是“度量张量”（g），它赋予空间长度的概念。评估概率密度移动多远的常见方法是表达初始密度和最终密度之间的KL-散度[12]。然而，这并不合格作为长度的度量，因为它是不对称的（即从一个密度到另一个的散度不一定与从第二个到第一个的散度相同）。解决这个问题的方法是在一个非常小的变化范围内测量散度，以便对其进行特征化，使得二阶泰勒级数展开足以描述。这提供了一个对称的长度度量[13]，因为KL-散度的海森矩阵是（Fisher）信息度量：

请注意，当g是单位矩阵时，欧几里得内积是该度量的一个特例（即沿着一个坐标轴的信息增益与沿着其他坐标轴的信息增益是独立的）。鉴于我们可以写出内部状态上的密度的参数化（λ）—而且我们已经在上面看到内部状态参数化了关于外部状态的信念—内部状态参与了两个统计流形，具有以下度量：

这一部分的关键结论是，马尔可夫毯的存在引发了双重信息几何，具有两个度量张量：一个描述内部状态上的密度空间

，另一个将内部状态视为外部状态上的密度空间中的点

。

3. Dynamics and inference

(a) Non-equilibrium steady state

在前一部分的基础上，我们现在提出一个问题：如果一个系统随着时间的推移保持与外界的分离，它必须表现出什么样的动态？为了回答这个问题，我们从随机动态的一般描述开始。这是一个朗之万方程，描述了某个变量（x）的变化速率，其中包括一个确定性函数（f(x)）和快速波动（ω）。

方程（3.1）右侧的表达式是福克-普朗克方程[14,15]，它提供了左侧随机过程的等价描述，但是是以概率密度的确定性动态来描述的。这可以被视为表达了概率守恒定律，因为密度的变化率等于概率流的（负）散度（∇·）。这在形式化系统随时间保持其形式的概念方面是有用的，因为我们可以将密度的变化率设定为零，并找到满足这一存在条件的流动：

上述方程构成了一个非平衡稳态系统的一般描述[16,17]。它有两个组成部分（与Helmholtz分解一致），每个都取决于稳态密度的负对数概率（或惊喜）的梯度。第一个流动组成部分是旋度（无散度的），涉及围绕惊喜等值线的流动。这源于Q矩阵，通常假设为反对称的（即

）。第二部分取决于波动的振幅（Γ），并在惊喜上执行梯度下降（负对数概率）。直观地说，波动振幅越大，为了防止由于随机波动而导致的分散，所需的速度就越大。接下来，我们将x分成内部、外部和毯子状态。为了保持简单，我们假设Q的块对角形式。这将马尔可夫毯的概念扩展到了动态设置中，使得除了内部和外部状态的当前值彼此条件独立之外，它们的变化速率也是解耦的。

(b) Bayesian mechanics 贝叶斯力学

使用方程（3.2）作为我们的起点，我们现在可以研究具有马尔可夫毯的系统动态。我们专注于那些不受外部状态直接影响的状态，其中包括内部状态和我们称为“活跃”状态的毯子状态子集，这些状态中介了内部状态对外部状态的影响（与介导相反影响的“感知”状态相对）。首先，使用（Moore-Penrose）伪逆，我们可以使用链式法则来表达最有可能的内部状态（即人口动态[18]）的变化率，以最有可能的外部状态的流动来表示：

类似的链式法则应用使我们能够将对外部状态的惊讶度的梯度表示为对内部状态的梯度：

这使我们能够将外部状态的流动写成内部状态梯度的函数（使用方程（3.2））：

方程（3.9）的最后一行总结了本节的结论。内部状态和活跃状态都最小化变分自由能，因此也最小化毯子状态的惊讶度。后者在统计学中被称为负（贝叶斯）模型证据。这意味着具有非平衡稳态的马尔可夫毯系统可以被视为“自我证据化”的[22]。从生理学家的角度来看，这只是对稳态的陈述[23]，在那里（活跃的）效应器纠正了感觉状态偏离正常生理范围的任何偏差。

本节所提出的分析的一个有趣方面是它不致力于空间或时间尺度。这一点很重要，因为它意味着对内部状态动态的解释取决于我们确定它们的马尔可夫毯的尺度。通常情况下，这取决于所关注的系统，但重要的是要认识到我们可以递归地细分（或合并）马尔可夫毯系统并选择替代的描述级别。例如，在人口水平上，毯子状态是那些与其他人群相交的个体的特征。一个人群的内部状态将（平均而言）似乎推断出其他人群的内部状态。然而，我们可以选择一个在这个人群中的个体作为我们的研究对象。这个个体的内部状态将似乎对原始人群中的那些，在我们采取了另一种视角的情况下，已经从内部状态（执行推断）变为外部状态（被推断）的个体进行推断。我们可以进一步选择一个器官、组织、细胞或分子作为我们的毯子系统。在每个级别上，隐含在内部状态动态中的推断内容将发生变化，但仍将受到上述贝叶斯机制的影响。

图3. 推理动态和生成模型。如主文所述，系统的内部状态动态使外部状态和毯子状态的联合惊讶最小化。将这种联合密度解释为生成模型，我们可以将非平衡稳态下的梯度流解释为变分推断，如此图所示。左上角的图表说明了惊讶的生成模型解释（使用因子图形式），其中包含先验和似然（方块）。在变分推断的环境中，解决这个推断问题的动态可以被框架为消息传递，其中似然和先验各自贡献局部消息（粉色箭头），这些消息被组合起来评估一个（边缘）后验概率。这提供了与理论神经生物学中的预测编码等概念的重要联系，如粉色面板所示，以及因子图的右侧图形所示。这个公式使用了惊讶的二阶泰勒展开，并将预测的毯子状态与观察到的毯子状态之间的差异解释为预测误差（εb），类似地，将外部状态的先验期望与后验期望之间的差异解释为预测误差（εη）。这些误差驱动更新内部状态，表示期望的外部状态。这导致了一种预测误差最小化的过程。右侧的图表说明了方程（3.6）和（3.8）的动态。如果我们将期望的内部状态初始化为在稳态密度下的模式之外，我们会看到它们返回到这个模式。当它们这样做时，它们所代表的信念与图2中所示的一致，并且自由能（F）与其稳态值的差异返回到零。

4. Stochastic thermodynamics

(a) Path integrals and reversibility

将上述描述转化为诸如“热量”之类的概念，这些概念在表征推理的能量学中起着核心作用，关键在于从考虑粒子当前位置上的密度转移到量化其可能跟随给定路径的概率。这由以下（Stratonovich3）路径积分给出：

如果我们将其与相同路径的概率进行比较，但是在相反的方向上（就好像我们倒转了时间），我们得到：

这个方程说明沿着给定路径耗散的热量（q）是观察到系统沿着相同路径反向运动相对于向前运动的惊讶程度的表达式。将方程（3.2）代入其中（忽略旋转流）得到

最后一个等式将随机波动的幅度分解为玻尔兹曼常数和系统温度，确保单位的一致性。考虑期望外部状态的轨迹，这表达了自由能变化引起的热量耗散：

这个近似相等再次基于这样一个假设，即只要我们不远离模式，惊讶的海森矩阵就不会发生变化。这使我们能够将自由能的变化与内部和毯子状态的联合惊讶的变化相等同，忽略了变分密度熵（q(η)）的变化。结果是Jarzynski不等式的一个极限情况[27]，将自由能的变化（即推理）与过程中耗散的热量联系起来。

(b) Fluctuation theorems 涨落定理

以上对时间反演的使用以及导致热量产生的时间不对称性，是对‘共轭’动态（†）的一种应用的示例。更一般地说，这个概念可以用来推导一组称为‘波动定理’的结果[28]。这里的想法是，轨迹的某些标量泛函（S）在替代（例如时间反转）轨迹下具有相同的数量级。例如，如方程（4.2）所示，热量在时间反转的协议下具有相同的数量级（但符号相反）。更正式地说，我们从一个与以下内容一致的泛函开始：

对于任意函数

，这可以用来推导主波动定理[28]：

对于

的不同选择，或者对于共轭动态的不同选择，方程（4.6）可以用来推导支撑随机热力学的波动定理。对于感兴趣的读者，Seifert [28] 对这个主题进行了全面的讨论。在这里，我们专注于由方程（2.6）的双重信息几何性质而产生的波动定理。如果我们选择

，并设置共轭动态为那些已知当前（平均）内部状态的动态，我们将得到一个积分波动定理，它为未来轨迹的期望惊讶度（或熵）提供了一个上界：

我们使用符号π = (μ,b)来组合内部状态和它们的毯子。这些一起被称为特定状态。方程（4.7）与轨迹的信息长度[29,30]之间存在着有趣的联系。一旦达到非平衡稳态，信息长度就不会再增加。这意味着，如果在非平衡稳态下，μ与内部状态最有可能的值之间的信息长度为零，那么上面的不等式将是一个等式，因为两个密度将是相同的。重新排列方程（4.7），我们可以表达与给定轨迹相关的期望惊讶度的上界（G）（其中边界的紧密程度取决于信息长度）：

这意味着，对于当前内部状态，未来动态（即q(π[τ])的选择）中最不令人惊讶的是那些风险最低的（即外部状态的预测轨迹与稳态下的轨迹最小的偏差），同时最小化外部状态和特定状态之间关联的模糊性。这个结果的有趣之处在于，组成期望自由能的两个量，即风险和模糊性，恰好是经济学、决策理论和认知神经科学中找到的相同量。简而言之，许多表面上具有目的性的行为可以用来最小化风险（即预测和未来结果的先验预测之间的KL-散度）和模糊性（即在给定世界的外部状态的情况下，关于特定状态的预期不确定性）。最后，我们考虑这种人类化的解释在多大程度上得到了基础物理学的授权。

5. Discussion讨论

在上文中，我们从一个简单但基本的条件开始，即系统必须在相当长的时间内与其环境保持可分离[31]。通过解开这个概念 - 使用信息几何和热力学的概念 - 我们发现马尔可夫毯内部的状态看起来好像执行变分贝叶斯推断，优化关于外部世界的后验信念。事实上，内部状态和活跃状态（平均而言）都最小化了惊讶的上界。这意味着马尔可夫毯系统以两种方式使世界变得不那么令人惊讶。它们改变了它们的信念，使它们更符合感觉数据，并改变了它们的感觉数据，使它们更符合它们的信念。我们在这里描述的推理（或广义同步性[32,33]）非常简单，我们将所有外部状态都归为一类。然而，我们在内部和外部状态之间划分的广泛区别可以通过将外部状态细分为具有马尔可夫毯的其他系统而得到细化。从内部状态的角度来看，这导致了一个更有趣的推理问题，具有更复杂的隐式生成模型。也许，我们通常认为从事认知、推理动态[34]和更简单的系统[35]之间的区别取决于最能描述它们的动态或梯度流的生成模型的复杂程度。例如，如果我们将状态区分为外部状态的位置、速度、加速度等，那么内部状态的随后动态将与时间深度推理和广义贝叶斯滤波[37]（其特例是扩展卡尔曼-布西滤波器[38]）一致。当我们不仅考虑状态的概率，还考虑它们的轨迹[39]时，情况变得更加有趣。这与热力学的概念有重要联系，包括热量的概念。关键是，这个数量可以被看作是在不同类型（共轭）动态下轨迹的概率差异的表达。这是支持随机热力学波动定理的理念，其中每一个都取决于共轭动态的备选选择。将由马尔可夫毯暗示的信息几何应用于此，我们可以表达一个取决于系统内部状态暗示的信念的积分波动定理。这告诉我们，预计最不令人惊讶的轨迹是那些具有最低期望自由能的轨迹，这个想法已经被用来在计算神经科学中复制一系列行为（例如，在寻找最不模糊的感觉状态的场景构建中的扫视眼动[40]）。

将期望自由能分解为“风险”和“模糊性”为我们提供了一些直觉。假设我们有一个具有马尔可夫毯的生物，其生成模型足够复杂，可以推断其行为方式。它可能采取的备选轨迹可以通过与这些轨迹相关的风险和模糊性进行评分。人性化地说，我们可以将这个生物想象成行为像一个科学家；推断出一种行动方式（即一系列实验），这种方式将提供最具信息量（最不模糊）的数据，从而促进对世界外部状态的更精确推断。然而，这种探索行为并不是全部。这个生物不仅追求那些减少不确定性的轨迹[41,42]，它还最小化了预期外部状态与与非平衡稳态一致的那些状态之间的差异（风险）。将后者解释为“偏好”，即最有可能的轨迹倾向于这些状态，我们得到一个行为像“不正直”科学家[43]的生物，寻找那些最具信息量的数据，偏向于与其先验信念一致的数据。

6. Conclusion结论

本文概述了非平衡动态、推理和热力学之间的一些关键关系。这些关系基于将世界划分为那些在边界内或外的事物，即所谓的马尔可夫毯。毯子诱导了一个双重信息几何，让我们能够将内部状态视为对外部状态的密度进行处理。当配备了动态时，平均内部状态似乎参与了变分推断。移动到轨迹级别的表征，我们可以借鉴随机热力学的工具，将推理与其耗散的热量联系起来，并发展一个从上述双重信息几何视角中汲取的积分波动定理。这为未来轨迹的预期惊讶度（熵）提供了一个（期望自由能）上界。最终，这意味着探索性和开发性行为的驱动力提供了一种有原则的方式，将从事规划的生物的先验信念写下来作为（主动的）推理。