开发一个通用的、可推广的生物表征能力模型；即表型表征理论

Neural and phenotypic representation under the free-energy principle 2021

我们在这里开发的框架具有超越神经元动力学的含义。事实上，该方案为嵌套系统中涉及瞬态边界形成的现象提供了一个正式的、可概括的解释。随之而来的形式主义提供了一种通用的机制，通过这种机制，生物的协调运动可能成为模拟或表现生物所处的因果状况、环境和困境的有效手段。

启发式地，这些模型中的学习是赫布式的，因为似然矩阵中的突触连接根据神经元（或群体）的活动强度得到加强

避免了对“祖母细胞”建模可能存在的担忧，并且可能提供一种冗余编码方法，使系统能够抵抗噪声或损伤

https://github.com/alec-tschantz/packets

翻译：志愿者 春暖花开

ABSTRACT 摘要

本文的目的是利用自由能原理及其推论过程理论、主动推理，开发一个通用的、可推广的生物表征能力模型；即表型表征理论。鉴于它们的普遍性，我们关注分布式表示形式（例如，群体代码），其中活体组织中的整体活动模式代表了感觉输入或数据的原因。主动推理框架基于马尔可夫毯子形式主义，它允许我们将感兴趣的系统（例如生物系统）划分为内部状态、外部状态和毯子（主动和感觉）状态，使内部和外部状态有条件地独立于彼此。在这个框架中，生物的表征能力是其马尔可夫结构和非平衡动力学的结果，它们共同带来了双重信息几何。这需要适度的表示能力：内部状态具有描述其在状态空间中随时间变化的轨迹的内在信息几何，以及允许内部状态编码关于（虚构）外部状态的概率信念（的参数）的外在信息几何。在此基础上，我们在这里描述如何以自动和紧急的方式，由马尔可夫毯束缚的神经元组编码有关刺激的信息；这就是所谓的神经元包假说。作为这种类型的涌现表示的具体演示，我们提出了数值模拟，表明共享正确类型的概率生成模型的主动推理代理的自组织集合能够编码有关刺激阵列的可恢复信息。

关键词：神经表征 神经元包假说 表型表征 马尔可夫毯 主动推理 自由能原理

1. Introduction 简介

生物具有表征能力：它们表现出其身体状态编码有关环境显著特征的信息或概率信念的行为，它们似乎利用这种能力来生成上下文适当、适应性行为（Egan，2018年；Kiefer和Hohwy，2018年；Ramstead等人，2020年，2019a年，2019b年）。大多数多细胞生物已经进化出了专门的细胞群体-神经系统，包括神经元和非神经元（例如，胶质细胞），致力于实现这种表征能力。通过对网络连接的持续调整，神经元群体自我组织形成功能整合的整体，看起来它们在重现环境的统计结构，生物可以利用这一点来生成适应性行为模式。

人口编码，即神经集合体看起来像编码有关环境统计结构的概率信念（即，感官数据的潜在原因的概率密度）一样普遍且有很好的记录（Pouget等人，2000年）。已知单个神经元倾向于对特定类型的刺激作出优先响应；例如，初级视觉皮层中的神经元倾向于对其感受场中呈现的刺激的特定方向和亮度对比作出优先响应。神经元还看起来像是一起工作，以推断远端感觉上皮的感觉输入的最可能原因，这样刺激信息只能通过检查许多细胞之间的激活模式来完全恢复。这在视觉系统中已经得到了广泛证实（Usrey和Reid，1999年）。众所周知，例如，初级视觉皮层中的神经元看起来是在推断作用于视网膜神经元的光子模式的原因（Maunsell和Van Essen，1983年）；也就是说，汇集在这些神经群体上的平均活动看起来像是跟踪呈现给视网膜神经元的刺激的特征。类似的情况也适用于许多其他神经群体，例如，海马中的位置细胞（Bair，1999年；Borst和Theunissen，1999年）和运动皮质中的地形有序神经元（Tolhurst等，1983年）。

这些协调的表征壮举是如何可能的？专门的神经组织，甚至任何类型的表型状态，如何编码有关有机体所嵌入的世界的信息？能否制定一个关于大脑、身体及其行为如何代表环境的一般理论？我们能否构建一般的表型表示理论？

在本文中，我们利用自由能原理及其推论过程理论（称为主动推理）提出了神经表示的一般理论。更广泛地说，这个框架开启了表型表征理论，其中生物体的大脑、身体和行为实际上是生物体群体的协调行为 被认为是在推断其感觉状态的原因。几个嵌套的空间和时间尺度。自由能原理是一种用于研究信念驱动的适应性行动的新颖的多尺度框架（Friston，2020）。自由能原理为我们提供了一种从第一原理衍生出来的理论，该原理涉及作为具有表型的系统存在（即存在于非平衡稳态体系中）意味着什么。因此，作为一个生命系统存在需要不断地重新审视同一组状态的邻近区域（例如，保持在一定的体温或生态环境范围内）。从技术上讲，此类系统被赋予了随机动力或回拉吸引子。这产生了非平衡稳态密度，我们可以将其与生命系统的表型联系起来。反过来，主动推理为我们提供了一种（贝叶斯）机制，可以解释生物体如何保持在其表型范围内（Ramstead 等人，2018）。该框架基于马尔可夫总括形式主义，它允许我们将系统划分为内部状态、外部状态和总括（主动和感觉）状态，使内部状态有条件地独立于外部状态。这种基本的非平衡马尔可夫结构（Friston et al., 2020a, 2020b）将指导我们的研究。我们认为，生物的表征能力可以通过主动推理框架以生物学上现实的方式形式化。我们开发了一个通用且可推广的生物体或具有特定状态（即内部状态及其马尔可夫毯）的粒子的表征能力的模型。

我们利用这种分布式表征能力的一种有先见之明的操作化 神经元包的构造 并为神经元包假设提供了原理证明（Yufik，1998； Yufik 和 Friston，2016）。根据神经元包假说，皮层神经元通过形成神经元包来推断感觉神经元刺激模式的原因，神经元包是包裹在马尔可夫毯中的神经系综，使得神经元数据包代表了刺激的可恢复特征。从某种意义上说，神经元包的概念可以理解为与神经学和神经科学领域有着悠久历史的神经元群、集合或集合的概念同源（Buzsaki，2010； Edelman，1993，1998 ； Gerstein 和 Kirkland， 2001； Hebb，1949； Mountcastle，1997； Nicolelis 和 Lebedev，2009； Sherrington，1911； von der Malsburg，1981）。

我们认为生物的表征能力是其马尔可夫结构的结果。非平衡稳态体系中系统的马尔可夫划分为系统的内部状态配备了双方面信息几何。内部状态具有描述其在状态空间中随时间变化的轨迹的内在信息几何，以及基于关于虚构外部状态的概率信念（即可能或可能不对应于真实外部状态的信念）的外在几何，由内部状态编码。在这里，我们展示了模拟结果，在计算机中具体证明，当在正确的概率模型下进行适当配置时，共享相同模型的主动推理代理的自组织集合（模拟神经元集合）能够编码可恢复的信息关于刺激阵列。我们认为，系统通过这种自组织协调达到的配置可以被视为一种体现推理的形式（即，对感觉刺激的原因得出后验状态估计）。

尽管我们关注的是神经元集合，但重要的是要强调，我们在这里开发的帐户基于自由能原理，可以应用于任何具有共享功能的生命（子）系统组。生成模型。这意味着我们在本文中讨论的表征能力是一般性的。它不必局限于细胞，甚至动物，并且有资源来考虑各种自组织系统中潜在的集体表征能力；例如，植物动力学（Calvo 和 Friston，2017）。

关于该主题的现有工作主要集中在单个系统的表征能力（Friston，2013；Kuchling 等人，2019），有时由其他系统组成（Palacios 等人，2020）。在本文中，我们将这种推理扩展到群体活动模式，使一组代理（无论是神经元还是实现适当动态的较大系统的其他元素）能够共同表示外部环境的特征。这种扩展对于理解生命系统的有意能力至关重要，在生命系统中，层次结构和分布式动态无处不在。

2. Background: multiscale active inference 背景：多尺度主动推理

2.1. Active inference and Markov blankets 主动推理和马尔可夫毯子

自由能原理始于对生物倾向于重新访问相同存在状态的邻居的观察（Ramstead 等人，2018）。这被形式化为这样的主张：生物的动力学是由非平衡稳态所保证的（Friston，2020）。生命系统远离热力学平衡，处于一种特征状态，我们将其与系统状态上的非平衡稳态密度联系起来，高概率状态对应于给定“我是那种生物”的典型状态，即，那些与生物体的表型一致的。自由能原理解释了生物如何通过不断生成适应行动模式来保持活力（即远离平衡），从而产生与其生存相适应的首选感官数据或观察结果（Friston，2020）。因此，根据主动推理，作为生物而存在意味着不断产生自身存在的感官证据（即“我处于或接近非平衡稳态”的证据）；有时被称为不证自明的（Hohwy，2016）。

主动推理依赖于一些基本的、相互关联的数学构造：包括刚刚讨论的非平衡稳态密度，以及马尔可夫毯、生成模型和变分自由能（Ramstead 等人，2019a、 2019b； Ramstead 等人， 2020、2019a、 2019b）。越来越多的文献呼吁马尔可夫毯来解释生物自组织和生命系统随着时间的推移保持活力的能力（Constant et al., 2018; Friston, 2013, 2020; Hipolito, 2019; Kirchhoff et al., 2018; Kuchling 等人，2019； Palacios 等人，2020； Ramstead 等人，2018、2019a 、 2019b）。

这个方案为我们提供了系统存在的原则性定义（Kirchhoff 等人，2018 年； Ramstead 等人，2018 年）。至少，作为一个系统存在意味着相对于世界其他部分有某种形式的有条件独立。马尔可夫毯子将这种独立性付诸实践。形式上，生成模型是系统变量的联合概率密度；在主动推理的情况下，这是有机体状态（所谓的特定状态，即马尔可夫毯子通过识别调节其与事件和其所嵌入的环境规律的概率关系以及引起或生成这些感觉状态的状态来定义感兴趣的系统。通过引入条件独立性（Pearl，1988），马尔可夫毯使我们能够定义系统与其环境之间的边界，从而界定系统本身（Friston，2013，2020 ； Friston 等，2015）。我们定义一个感兴趣的系统，通过定义第三组状态马尔可夫毯本身 将其与它所嵌入的系统（例如，生态位中的生物，或细胞间环境中的细胞）区分开来。调解它们之间的因果影响。马尔可夫毯进一步分为感觉状态和活动状态：活动状态影响外部状态，但不受外部状态影响；而感觉状态影响内部状态，但不受内部状态影响。给定这种划分，给定总体状态，内部状态独立于外部状态。见图1 。

2.2. Generative models, variational free-energy, and the mechanics of inference

2.2.生成模型、变分自由能和推理机制

主动推理是贝叶斯力学的一种表述，告诉我们关于内部和主动状态的流动以及如何保持马尔可夫毯子保持有效的情况（即，保持分隔生物体与其环境的边界完整）。为了使行动和感知具有适应性和知识驱动性，必须存在一些结构，这些结构以易于在引导适应性行动中使用的形式利用这些知识。这些结构是生物体的内部状态，在它们的马尔可夫毯子后面被屏蔽。主动推理允许我们将感知和行动（即，对来自感官状态的干扰的响应中的内部和主动状态的流动）解释为最大化生物体所体现的隐式统计模型的证据，该模型指导它们通过选择（关于）行动序列或策略的产生的适应性行动（Friston，2020）。

从形式上看，生成模型是系统变量的联合概率密度；在主动推理的情况下，这是有机状态（所谓的特定状态，即内部、感觉和主动状态）和虚构的外部状态（Ramstead等人，2019a，2019b）的联合概率密度。根据自由能原理，生成模型仅仅是我们与有机体表型相关联的不平衡稳态密度的一种解释（Friston，2020）。就启发性而言，我们可以从流动物理学的角度看待这个密度，作为构造状态流的基础流形；或者作为所有系统状态的联合概率密度（Ramstead等人，2020）。简而言之，在处于不平衡稳态的系统中存在马尔可夫毯子意味着我们可以将系统的内部状态视为它们对（概率分布）外部状态的信念的参数化。因为外部状态现在扮演随机变量的角色，它们通常被称为潜在或隐藏状态（即隐藏在马尔可夫毯子后面）。这些隐藏状态可以被视为有机体为解释其数据如何引起而娱乐的解释性虚构（Ramstead等人，2020）。

这种马尔可夫、不平衡的设置导致了一种适度的表示能力（Friston，2020；Friston，Wiese等，2020；Parr等，2020）。事实上，刚才描述的马尔可夫结构导致了一个双重方面的信息几何，允许对内部状态进行描述，其中它们编码了关于外部世界的条件（贝叶斯）信念。信息几何实质上关注表示（概率分布的充分统计量的）空间的测量。简单来说，马尔可夫分区的存在意味着对于系统的任何毯子状态，可以确定（对系统的内部状态进行平均）以及相应的关于外部状态的条件信念（即，概率密度）。因此，除了系统的“内在”信息几何（捕获随时间变化的内部状态的概率）之外，马尔可夫结构还赋予系统“外在”信息几何，它捕获了关于并发外部状态的信念（Friston等人，2020）。

根据自由能原理，生物体执行着模式的动态（行动和感知），这些模式涉及一个生成模型（Friston，2012；Ramstead等人，2019a，2019b）。这意味着，从数学上看，行为看起来就像是由特定的因果过程（特定的生成过程）产生的，其结构在生成模型中得到了复制。在产生适应性行为时，生物体看起来就像是对其生态位的因果结构进行推理，并最大化他们隐式体现的世界模型的证据。更具体地说，他们通过优化贝叶斯推理的一个上界（称为变分自由能的负对数）来实现这一点-有机体可以从其感官状态的动态计算出来。通过最小化变分自由能（也称为最大化模型证据），生物体的内部状态会编码出关于感官输入原因的概率性“最佳猜测”（Kiefer和Hohwy，2018；Ramstead等人，2019a，2019b）。这就是（变分）自由能原理（Friston，2010，2020）。

总结一下，自适应行为引起了生成模型的存在，并伴随系统被分为由毯子状态分隔的内部和外部状态（从而维持马尔可夫毯子），从而导致对外部状态的信念或知识的归纳，由内部状态参数化。然后，系统的物理状态开始编码关于潜在状态的不同后验信念的（充分统计量）。这些是关于造成感觉状态的方式的解释性虚构或假设。这意味着生物体体现的物理量编码了关于可能最好解释感觉数据生成方式的隐藏或潜在状态的后验或条件密度（即，贝叶斯信念）。因此，将系统分为内部、毯子和外部状态的存在也导致了由内部状态编码的对外部状态的信念或知识的出现，并导致了生物体的表示能力的出现。随后产生的贝叶斯力学暗示了存在与知识之间的深刻而有些贬低的联系；换句话说，存在就是知道-在持有贝叶斯信念的意义上（约翰·坎贝尔，个人交流）。The ensuing Bayesian mechanics suggests a deep if somewhat deflationary connection between existence and knowledge; namely, to exist is to know – in the sense of holding Bayesian beliefs (John Campbell, personal communication).

2.3. Nested Markov blankets and multiscale self-organization

2.3. 嵌套马尔可夫毯和多尺度自组织

生物系统的这种马尔可夫结构在生物组织的所有层次上都以递归方式迭代（Friston, 2020; Kirchhoff等人, 2018; Palacios等人, 2020）。由于大多数生物系统由它们自身也是生物系统的部分组成（例如，有机体由器官组成，器官由细胞组成），马尔可夫结构以递归方式迭代，使我们能够解释处于非平衡稳态的任何系统的动态，从细胞到社会的描述级别（Friston, 2020; Kirchhoff等人, 2018; Ramstead等人, 2018, 2019a, 2019b）。因此，可以说是毯子的毯子，自上而下，自下而上。见图2。

支持主动推理的倡导者用于在多个尺度上建模自组织的策略是展示一些更高级别的现象（例如，模式形成）是由较低级别的组分现象的协调推理动态而出现的，前提是它们共享一个生成模型（Friston, 2013; Kirchhoff等人, 2018）。在这项工作中，每个个体都配备了相同的生成模型（这是对共享基因密码的隐喻）。这个生成模型的参数编码了关于不同细胞类型接收和发送的信号种类的知识，作为其细胞类型的函数。（我们将在下面的方法和结果部分详细讨论此问题）。基于这种共享知识，整个细胞集合中的每个细胞都能够推断出自己在更高级系统中的位置和作用（作为内部、活动或感觉状态），作为每个细胞积累的证据的函数，表明这种角色的证据，以马尔可夫分区定义的角色之间的概率关系为基础 - 例如，内部状态不能直接与其他内部状态通信（它们被它们的毯子所遮盖），但可以与毯子状态通信，等等。

换句话说，一个集合体自组织成某个目标配置，是因为其组成部分对于由集合体和其他成员行为生成的典型观察或数据有着相同的期望。对于共享生成模型的单位系统，每个细胞的自由能最小值与集合体的自由能最小值一致（Friston, 2013; Friston等人, 2015; Kuchling等人, 2019; Palacios等人, 2020）。目标形态的出现是群体推理作用于共享生成模型的结果；每个单位通过推断从其他单位接收到的信号以及发送的信号，来“知道自己的位置”所致。

2.4. Markov blankets in the brain and the neuronal packets hypothesis

2.4.大脑中的马尔可夫毯子和神经元包假说

如上所述，马尔可夫毯已被用于定义跨尺度相互作用系统的边界和动态 (Friston, 2020; Hip´olito, 2019; Kirchhoff 等人, 2018; Palacios 等人, 2020; Ramstead 等人, 2018, 2019a, 2019b)。这同样适用于大脑 (Friston 等人, 2020a, 2020b; Hip´olito 等人, 2020; Palacios 等人, 2019; Parr 和 Friston, 2018)。首先，单个神经元具有其马尔可夫毯 (Kiebel 和 Friston, 2011)。神经元的感觉状态是它接收其他细胞信号的突触。神经元的主动状态是它们的轴突和突触端，通过这些结构，它们向其他细胞传递动作电位和神经递质释放的模式。每个神经元都有一个首选的感受野轮廓或响应向量，代表其首选的刺激类型，我们可以将其与编码其似然函数的神经元的传入突触连接关联起来 (即编码为其所代表的假设提供证据的输入)。主动推理可以用来解释三个不同尺度上的神经行为：推理的快速时间尺度 (激活或去极化变化)、联想学习的较慢时间尺度 (突触效力或增益变化)、以及结构学习的更慢时间尺度 (树突结构的结构变化) (Kiebel 和 Friston, 2011)。实证上，有新兴证据表明神经元集合以树突结构的形式表现出自我证据行为；甚至在细胞培养中也有 (Isomura 和 Friston, 2018)。

在主动推理理论中，上述 (嵌套的) 马尔可夫毯的结构可能构成了大脑组织的基础 (Friston 等人, 2020a, 2020b; Hip´olito 等人, 2020)。在生成模型中的因果因素被认为对应于解剖上分隔的脑区域 (Friston 和 Buzs´aki, 2016; Parr 和 Friston, 2018)。曾被认为暗示大脑模块化处理的证据，现在可以更好地解释为证据支持这些结构的存在。换句话说，功能特化的大脑区域可能编码因子化概率密度的因子，这些因子在条件上是独立的，但通过它们的平均场相关联 (Friston 等人, 2017a, 2017b; Parr 等人, 2020a, 2020b)。这意味着神经元群体可能编码不同的因子，每个因子由其马尔可夫毯分隔 (例如，对象的身份与其空间位置)。

这就留下了神经集合如何编码信息的问题。神经元包假说（Yufik 和 Friston，2016）提出，神经元能够通过形成连贯的、有界的集合（笼罩在马尔可夫毯子后面）来编码有关外部原因的信息。因此，马尔可夫神经元集合响应来自感觉神经元的扰动（动作电位）的自组织可以解释为后推理的一种形式，每个数据包编码不同的假设（Yufik，2019； Yufik 和 Friston，2016） ）。这与结构表征理论大体一致，根据该理论，神经元通过镜像目标域的（数学或统计）结构来编码有关目标域的可利用信息（Kiefer 和 Hohwy，2018、2019 ； Kiefer，2020） ）。神经元包假说更进一步，提出生物体推断和解释其感觉状态原因的能力是由于神经元群通过在神经元包周围形成边界（即马尔可夫毯）而结合在一起而产生的。为了响应感官扰动而“动员”这样一个数据包，就可以理解一个由相互作用的原因组成的世界（Yufik，2019； Yufik 和 Friston，2016）。

经验证据支持神经元包假说，表明神经元通过动态形成依赖于任务的短暂联盟来处理信息；对这种“神经再利用”的经验证据进行了广泛的回顾（Anderson，2014）。因此，大脑活动是由神经元联盟作为一个内聚单元以上下文和目标依赖的方式共同发挥作用而产生的。这允许组合有关由大脑网络的物理状态编码的或多或少独立因果因素的信息（Parr 等人，2020a， 2020b）。因此，神经元试图动态地形成功能联盟，以在多因素协调推理中发挥它们编码的因素；另请参见Park 和 Friston (2013)。

引人注目的是，大脑动力学马尔可夫结构的证据来自神经影像学的最新研究，该研究表明大脑区域形成马尔可夫“包裹” （Friston et al., 2020a, 2020b）。

在最近的主动推理模型中，神经元被赋予了先验信念（编码在它们的共享生成模型中），即在没有外部扰动的情况下，它们的信号传导谱将对齐或同步（Palacios et al., 2019）。这可能为数据包形成提供初始动力。每个神经元都配备了一个生成模型，使其能够推断其在上级系综中的功能身份（或在马尔可夫分区中的作用）。因此，当神经元系统响应感觉扰动而自组织成连贯的数据包时，感知推理就会出现。

在这种情况下，另一个值得考虑的有趣现象是早期发育和神经元分化过程中的结构自组织以及相关的功能分离（Zeki，2005） 。一些研究表明，功能分离的常见模式可能更弱地受到大规模轴突结构（例如，视神经信号到视觉的路径）的遗传限制的指定，而不是神经元在遗传上硬连线来代表特定的刺激。神经元（或局部连接的神经元群）的功能作用是通过自组织响应其在发育早期接收到的信号的统计数据而产生的（Bienenstock et al., 1982； Peters 和 Yilmaz，1993； Sin 等人，2002； Sur 等人，1988； Sur 和 Rubenstein，2005； von der Malsburg 等人，2010； Von Melchner 等人，2000； Zeki 和 Shipp，1989）。这在实验操作的大规模神经元通路的研究中得到了最明显的证明，例如将视觉信号从视神经重定向到内侧膝状体核和听觉皮层的研究。值得注意的是，在这些情况下，听觉皮层神经元群体对特定的视觉特性变得敏感，类似于通常在视觉皮层中看到的视觉特性。发育窗口的其他研究，例如显示对早期环境中不存在的特定视觉特征（例如垂直轮廓）的选择性失明的工作，以及对必要的突触连接进行相关修剪以实现此类属性的推断，进一步说明了这一点（Blakemore 和 Cooper，1970； Buonomano 和 Merzenich，1998； Huang 和 Reichardt，2001； Muir 和 Mitchell，1973； Rice 和 Barone，2000； Singer 等，1981； Thoenen，1995）。因此，有一种强烈的感觉，即（在大规模轴突接线模式的广泛遗传限制下）神经群体根据它们收到的早期输入推断它们所扮演的特定功能角色。

2.5. Neural representation in the active inference framework

2.5.主动推理框架中的神经表示

本文建立在分层自组装和自组织主动推理模型的技术发展基础上（Friston et al., 2015; Kirchhoff et al., 2018; Palacios et al., 2019, 2020）。这项工作表明，马尔可夫毯在一组共享正确类型生成模型的主动推理主体周围自然出现（Friston 等人，2015；Kirchhoff 等人，2018； Kuchling 等人，2019）。这些论文中采用的策略是将上级边界形成问题（马尔可夫毯的出现）重新定义为以共享生成模型为条件的推理的结果。

扩展这项工作，我们在本文中的策略是通过对共享生成模型的单个神经元的协调推理进行建模，在上级级别解释神经组织自组织成神经元包。我们设置中的技术新颖之处在于每个除了它在上级系统中扮演的角色之外，单个神经元现在还必须推断它属于哪个高阶马尔可夫覆盖系统。上级系综中的这一角色是通过利用系统划分为不同类型的状态来实现的，这是从上级尺度上马尔可夫毯子的存在（以及关于该毯子系统中的成员资格的信念）得出的：单个神经元必须推断是否它们扮演感觉状态、活跃状态或内部状态的角色，其中每个角色都是根据定义马尔可夫毯的条件独立性来定义的。

我们将神经元包的形成建模为关于高阶马尔可夫覆盖集合的成员资格的推断的结果，这可以被视为一种推断形式。每个神经元都有一个单独的响应向量；也就是说，每个神经元优先响应其感受野中存在的某些特征。当感觉神经元在其感受野中检测到其偏好的刺激时，它们向皮层神经元发送信号（即动作电位），例如，初级视觉环境中的神经元接收来自视网膜中的感觉神经元的信号（通过外侧膝状体核）。我们在这项工作中对后来类型的神经元进行了建模。我们假设皮质神经元使用这些信号作为特定推论的证据：它们是上级神经元包的内部状态。神经元也会交换信号，这些信号表达了它们对上级尺度的总体成员资格的信念。这种群体推理和交流导致了神经元包的形成，该神经元包编码了关于可能导致视觉受体感觉印象的假设。

神经元包成员资格可以被视为该假设证据的衡量标准。因此，神经元包的形成对应于神经元集合的自组织，该自组织是通过关于高阶马尔可夫覆盖系统的成员资格的推断而实现的。这为分布式神经表示提供了一种通用机制，以非平衡、马尔可夫和递归嵌套架构为前提。

简而言之，我们假设有一种特定的结构将感觉上皮中的神经元与大脑中的神经元联系起来。感觉神经元的响应向量编码它们最敏感的感受野中的目标特征类型（例如，方向和对比度）。

这种敏感性意味着，在存在他们喜欢的刺激的情况下，产生动作电位的速率会增加。我们的假设是，当皮质神经元检测到感觉神经元特定信号模式的增加时，它们会将此作为证据来推断它们是高阶整体的内部状态。本质上，由于这个原因，每个皮层神经元产生的动作电位向其他皮层神经元广播一个信号，传达其关于它是否是上级神经元的内部状态的信念。

4. Results 结果

4.1. The emergence of a neuronal packet 神经元包的出现

提出了第一系列数值模拟的结果

图3.自由能原理下的形态发生。该图描绘了Friston 等人报告的数值结果。 （2015）， Palacios 等人对其进行了扩展。 (2020)和Kuchling 等人。 （2019），并在文中进一步描述。右下面板描绘了目标配置和细胞朝该配置的移动，中央底部面板描绘了与每个目标位置相关的信号传导概况，每个细胞使用该信号来寻找其位置。顶部面板显示每个单元向最终位置移动时的期望。左下图描绘了整体的自由能。当每个细胞弄清楚它是什么类型的细胞时，自由能最初会增加，然后下降到全局最小值，这与每个细胞在目标配置中找到自己的位置一致。

如图4 所示。在这些模拟中，单个神经元的亚群受到刺激，以诱导精确的后验信念，即它们是上级水平(ψ1,2) 的一个马尔可夫覆盖系统的状态。

这是通过将选定的神经元耦合到外部场来实现的，如上所述，外部场是从生物体感觉上皮中的神经元接收到的信号的隐喻。

我们引入一个刺激函数fstim(x) ∈ <0, 1>，它将刺激强度（0 到 1 之间）指定为相空间位置的函数。该函数确定神经元接收到的作为第一集合ψ1,2成员的证据，而该函数的补集 1 － fstim(x)确定神经元接收到的作为替代集合ψ3,4 成员的证据。

在模拟开始时，神经元被初始化为其身份的统一信念。然后在时间步T = 10处引入刺激场，导致该场内的神经元快速形成属于第一上级系综(ψ1,2) 成员的信念。

相反，剩余的神经元相信它们是第二上级系综（ψ3,4）的成员。在模拟过程中，对邻近关系Rψ 的共同期望导致神经元收敛到内部(ψ1,4)或毯子(ψ2,3)状态。

具体来说，在空间上不接近相对的更高级别整体的状态的神经元形成了它们是内部状态的信念，而在空间上接近两个整体的神经元形成了它们是毯子状态的信念。这导致第一个马尔可夫毯在刺激函数引入的场周围形成，并且第二个马尔可夫毯包围第一个。这这种结构的出现意味着，当以其毯状状态ψ2 为条件时，第一个马尔可夫毯的内部状态ψ1独立于第二个马尔可夫毯的状态ψ3,4，反之亦然。

这些结果也可能说明局部场电位在神经同步中的作用。先前的信念是，在没有刺激的情况下，它们会彼此同步，这使得构成神经元系统的各个神经元具有一种连贯性，这赋予它一种虚构的“向心”力的外观和感觉。相反，当神经元受到矛盾的驱动输入刺激时，它们会自组织成不同且隔离的群体，这看起来像一种“离心”力。实现群体编码的群体推理有效地平衡了自组织中这两种相反的倾向。

4.2. Splitting ensembles and multiple ensembles: towards an account of dynamic, transient Markov boundary formation

4.2.分裂系综和多重系综：动态、瞬态马尔可夫边界形成的解释

我们继续考虑马尔可夫毯形成响应变化的外部刺激的动态性质。在第一组模拟之后，我们用关于其身份的统一信念来初始化神经元，并在T = 10 时引入外部刺激。然而，我们现在在T = 200 时转换外部刺激。刺激的这种变化导致神经元亚群形成不相容的信仰并促进上级团体的重组。

这些模拟的结果如图 5 和图 6所示，它们的不同之处仅在于所使用的刺激函数。和第一组一样模拟中，这些结果表明围绕初始刺激出现了两个马尔可夫覆盖系统。然而，结果还表明，一旦刺激位置发生变化，整个整体就会重新自组织。具体来说，新的马尔可夫毯围绕新刺激的位置组织起来，这是刺激场提供的证据的直接结果。新毯子的形成时间尺度比原来的要慢，因为这个新集合的成员最初认为他们是另类集合的成员(ψ3,4)。此外，由于原始的外场已被移除，相应的神经元不再接收到它们是第一系综(ψ1,2) 状态的证据。相反，他们收到的证据表明他们是对立系综(ψ3,4) 的成员，导致第一个马尔可夫毯子逐渐解体。综合起来，这些结果证明了与动态外场耦合时马尔可夫毯层形成的动态性质。

图 4.神经元包的出现。

该图描绘了第一系列的数值结果，证明了响应外部刺激或与外部场耦合而出现的马尔可夫毯。 (A)刺激过程中不同时间单个神经元的可视化。神经元的颜色代表其对上级马尔可夫毯的成员资格的信念，而其位置表示其在相空间中的位置。黑色和白色代表不同的马尔可夫毯子；而线条颜色代表马尔可夫分区中的角色（作为相应覆盖系综的内部或覆盖状态）。在刺激开始时，神经元被初始化为其身份的统一信念。在时间步T = 10 时，引入外部刺激（在正文中描述）。外部刺激导致神经元分为两组内部状态和毯状状态，围绕刺激组织起来。随着时间的推移，对每个神经元应该感知什么的共同期望导致神经元分为内部状态和毯子状态。第一个系综 (A) 的内部状态围绕刺激中心组织，而该系综的总体状态围绕刺激边缘组织。在剩余的神经元中，那些在空间上接近第一系综 (A) 或位于系综外部边界的神经元形成信念，认为它们是第二系综 (B) 的覆盖状态，而其他神经元则形成信念它们是该整体的内部状态。因此，外部刺激引起两个马尔可夫毯子的形成，其内部状态彼此有条件地独立，以毯子状态为条件。 (B)神经元发出的信号的可视化，在整体上对相空间中的每个位置进行平均。在面板（A）和（B）中，两个轴代表二维状态空间的两个抽象状态。为简单起见，这里我们假设这是一个代理移动的物理空间，其值为R2。 (C)每种身份类型的整体平均证据作为时间的函数。 D）本模拟中使用的刺激函数，其中白色表示刺激强度。

图 5.动态和瞬态数据包公式。

该图描绘了第二系列的数值结果，证明了马尔可夫毯配方响应瞬态外部刺激的动态性质。 (A)刺激过程中不同时间单个神经元的可视化。与第一组模拟一样，神经元以统一的信念进行初始化，并在时间步T = 10 时引入外部刺激（在正文中描述）。根据第一次模拟的结果，外部场诱导形成围绕刺激组织的两个马尔可夫覆盖系统。在时间步T = 200 时，施加刺激的位置发生变化。这导致神经元亚群接收到与其贝叶斯信念不相容的证据，导致原始马尔可夫毯子溶解，并在改变的刺激部位周围出现新的马尔可夫毯子。这些结果证明了与外部场耦合时马尔可夫毯形成的动态和瞬态性质。 (B)刺激过程中不同时间神经元发出的信号的可视化。同样，在面板 (A) 和 (B) 中，两个轴代表二维状态空间的两个抽象状态。为简单起见，这里我们假设这是一个代理移动的物理空间，其值为R2。 (C)每种类型身份的整体平均证据作为时间的函数。 D)该模拟中使用的刺激函数。如上所述，白色表示刺激强度。此处，刺激以 200 个时间步⻓改变位置。

5. Discussion 讨论

本文提出了使用主动推理框架开发的神经和表型表示模型。我们的模型提供的一个潜在优势是它建立在当前与主动推理相关的神经过程理论的基础上。当前的过程理论将单个神经元活动（也可以简单地等同于神经元群体的活动）建模为或多或少统一编码状态的后验信念；此外，它假设引起选择性刺激的突触连接模式给定神经元（或群体）的敏感性被正式指定为连接感觉上皮与这些神经元的似然矩阵中的单个条目。启发式地，这些模型中的学习是赫布式的，因为似然矩阵中的突触连接根据神经元（或群体）的活动强度得到加强，与当前的观察结果一致。

关键点是，在现有模型中，单个神经元的功能与编码状态后验信念或学习刺激敏感性的神经元群体的功能之间没有区别，并且建模的激活水平是单一的值轨迹。我们在本文中的结果表明，神经群体中的连贯活动可以响应环境扰动而出现，并允许在发育过程中对突触连接进行群体范围的调整 这样不同的神经元群体就可以学习对不同刺激特征的不同敏感性。这避免了对“祖母细胞”建模可能存在的担忧，并且可能提供一种冗余编码方法，使系统能够抵抗噪声或损伤。

与此相关的是，用于模拟选择性反应和专业化（例如感受野）的出现的形式主义作为自由能最小化过程 可以解决关于概率表示是否由总体反应的样本密度表示的争论；即，贝克等人意义上的人口代码。（2008）；普吉特等人。 （2013）；泽梅尔等人。 (1998) – 或者总体响应是否对概率表示的参数或足够的统计数据进行编码；即，一个集成代码。就目前而言，两者是同一件事。换句话说，重要的数量 就表征或外在信息几何而言 是构成更大马尔可夫毯内部状态的神经元群体的整体平均值。

这里的一个微妙的技术点是，支撑神经元表示或编码的外在信息几何依赖于内部状态的条件期望或平均值，例如，位于较大马尔可夫毯子内部的神经元。然而，从数学上讲，这种期望是随着时间的推移，而不是内部状态（Friston，2020）。为了赋予集合平均值一个代表性属性，然后有必要做出遍历假设，即大量内部状态的平均值与时间平均值相同。

图 6.动态和瞬态数据包公式 (B)。该图描绘了最终一系列的数值结果，进一步证明了马尔可夫毯形成响应外部刺激的动态性质。这些数值结果利用了与图5相关的一组不同的设定刺激。 (A)刺激过程中不同时间单个神经元的可视化。与之前的模拟一样，神经元以统一的信念进行初始化，并在时间步T = 10 时引入外部刺激。这再次诱导形成围绕诱导刺激组织的两个马尔可夫覆盖系统。在时间步T = 200 时，施加刺激的位置发生变化，这再次导致马尔可夫毯的位置动态重组。与图5 不同的是，这两种刺激是重叠的，这意味着在刺激改变后，一部分人群会收到一致的证据。相对于图5，这些神经元的这些信念不会改变，从而导致更快的毯子形成。 (B)神经元在刺激过程中不同时间发出的信号的可视化。如上所述，在面板（A）和（B）中，两个轴代表二维状态空间的两个抽象状态。为简单起见，这里我们假设这是一个代理移动的物理空间，其值为R2。 (C)每种类型身份的整体平均证据作为时间的函数。D)该模拟中使用的刺激函数。如上所述，白色表示刺激强度。此处，刺激以 200 个时间步⻓改变位置。

仅当内部状态可交换或可以视为彼此等效时，这才有效。这个简单的观察意味着人口密码可能存在某些本质特征。从某种意义上说，它们只能是系综的属性，例如，在高级尺度上发挥内部状态作用的神经元群体。

这里介绍的这项工作还展示了新颖的马尔可夫毯动力学，为瞬态边界形成和重新配置的建模以及功能和有效连接的动力学打开了大门，这与支持神经重用的越来越多的证据一致（Anderson，2014 ） ）。有些系统具有随着时间的推移而持续存在的永久边界。例如，当系统的统计边界与其物理边界一致时，就像在单元格的情况下一样，其中统计边界也硬连接到系统的物理结构中，作为文字屏障（a细胞膜）。然而，其他生命系统具有更具可塑性的边界，这些边界会随着时间的推移而溶解和重组。这些系统类似于社交系统（Veissi`ere 等人，2020）和神经元包（Yufik 和 Friston，2016）。当我们在家里醒来时，我们就是这个亲密生活单位的一部分；当我们去办公室时，我们是另一个职能部门的一部分；属于这些群体限制了可能的行动方案。神经集合也是如此，它似乎会动态形成和改革以匹配任务要求（Anderson，2014）。对于诸如此类的系统，相关边界之所以有效，正是因为它们可以改变，例如当一个单独的成员移动到另一个组时、当一个组分裂成两个时、或者当两个组合并时。这种神经（或社会）系统的边界本质上是可延展的，这允许群体和群体成员资格的自适应重新配置。我们建议，人们可以将不断变化的架构和上级集合的成员资格与跟踪不同感知内容的推理动态联系起来。

请注意，波动和流动的马尔可夫毯子与非平衡稳态一致，因为马尔可夫毯子的马尔可夫毯子出现了时间尺度的分离（Friston，2020）。换句话说，从以下尺度的马尔可夫毯的角度来看，任何马尔可夫毯都会缓慢变化。例如，当您从工作地点到家时，城市的马尔可夫毯不会每小时发生变化。同样，当神经元集合（即数据包或组合体）分裂和合并时，大脑的马尔可夫毯子不会每秒发生变化。从系综动力学的角度来看，关键是在足够⻓的时间后，各种（吸引）状态会被重新审视。例如，您每天晚上回家。每隔几秒钟，你的功能专门化的神经元群就会被感觉传入的特征模式激活。

我们在这里开发的框架具有超越神经元动力学的含义。事实上，该方案提供了对涉及嵌套系统中瞬态边界形成的现象的正式的、可概括的解释。随之而来的形式主义提供了一种通用的机制，通过该机制，生物体的协调运动可以作为有效手段来建模或表示生物体所处的因果情况、环境和困境。

例如，群体觅食行为遵循类似的原则，其中在一个方向上的协调运动模式被视为关于环境结构的特定假设的积累证据。例如，当蚂蚁离开并跟随信息素踪迹时就是这种情况。在这种设置中，遵循给定路径的蚂蚁越多，每只蚂蚁向其同类提供的证据就越多，表明路径尽头有一些显着的东西（食物或危险） （Jackson et al., 2004） 。

我们建议，有可能扩展上面开发的建模策略，以解释社会和文化群体成员资格作为人类环境中相关因果结构的推断形式的方式。例如，政治立场似乎可以追踪一个人在某些领域的信仰和态度，例如人为气候变化的现实。人们可能会推测，对于许多人类代理人来说，个人推理问题（即，自己回答这个问题，“我相信人为造成的气候变化是真实的吗？”）是通过外包生成工作猜测的过程来解决的（计算后验）到一个人的亲密社交圈，通常是通过弄清楚和学习一个人的社会内群体中相信和重视的那些事情（Kirmayer 和 Ramstead，2017； Ramstead 等人，2016； Veissi`ere 等人，2020）。

另一个政治争议较少的例子是上面讨论的蚁群中的最佳觅食行为。事实上，蚂蚁的觅食行为可以被建模为一种群体推理，其中蚂蚁种群的每个觅食“臂”（隐藏在自己的马尔可夫毯子后面，这里由化学信息素梯度决定）可以被视为代表一个独特的假设“这里有食物”，或者“这里有危险的威胁”，等等。将这种形式主义应用于此类动物模型（而不是人类系统）的一个优点是，它们相对更容易研究，因为它们更容易广泛（和道德上）测量，而且它们（相对不太复杂）的行为更容易建模。蚂蚁觅食和其他简单觅食系统的工作，例如觅食粘菌种群的多个搜索前沿，通常采用适合主动推理的建模策略（Chandrasekhar 等人，2018； Reid 等人，2012）。关于这些简单系统做出的决策的行为数据同样可以在计算机中重现。

最后，人们或许能够将上述总体编码策略扩展到分层嵌套的表示能力。在这样的方案中，上级水平的神经元包将参与完全相同类型的协调推理动力学，推断它们在更高水平的自组织中的成员身份。这可以从神经表征理论引向概念或语义级处理理论（Yufik，2019； Yufik 和 Friston，2016） 与这里正式建模的感知处理相反 其中神经元包在多个嵌套处形成大脑中的尺度解释了物体感知的感知和多模态整合。事实上，当前的理解和抽象表述依赖于具有关系结构的深层生成模型，这些模型必然需要马尔可夫毯子来分隔层次结构。例如，弗里斯顿等人。 （2017a）， 2017b。马尔可夫毯子的时间和上下文敏感性质 在这项工作中考虑 可能反映了上下文敏感、状态依赖、非线性生成模型，是必要的。

6. Conclusion 结论

本文的目的是利用自由能原理及其推论过程理论（主动推理）的资源，开发一种通用且可推广的生物表征能力模型。我们对神经元以及更广泛的表型表征进行了描述。我们认为，生物的表征能力是其马尔可夫结构和在非平衡状态下对抗随机波动和环境流动的耗散效应的作用的结果。我们在计算机中证明了有关外部刺激的信息可以由马尔可夫毯束缚的神经元群编码，从而为继承自神经元群和集合理论的神经元包假说提供证据（Buzsaki，2010； Edelman，1993，1998 ； Hebb，1949； von der Malsburg，1981）。我们的数值原理验证模拟表明，共享正确类型的概率生成模型的自组织粒子集合能够编码有关变化的感觉中枢的可恢复信息，并且它们可以动态地表现出适应的功能自组织模式以适应形势的要求。因此，这种神经元包形成模型需要适度的表征能力，并为未来的工作开辟了重要方向。

3. Methods 方法

为了具体证明我们提出的公式，我们模拟了N = 256 个在二维相空间中运行的“粒子”，其中粒子的位置表示为x ∈ R2 ，运动方程主要基于 Palacios 及其同事使用的方程（2020）。每个粒子（代表一个单独的神经元）都被建模为一个活跃的贝叶斯代理，分为感觉s、活跃a和内部μ状态。

内部状态参数化关于感觉输入的隐藏外部原因的信念（即概率密度），并使用高斯滤波进行优化（Palacios 等人，2020）。换句话说，它们被更新以最小化变分自由能。在当前上下文中，内部状态参数化关于粒子ψ ∈ R4 身份的信念，其中每个身份对应于上级系综中的成员资格。

粒子发出信号ψ ∈ R4，其中每个信号对应于一个特定的身份。特别是，每个粒子发射信号ψ作为它们的内部状态 μ 的函数：

其中，σ是 softmax 函数。粒子的内部状态 μ ∈ R4 编码了模型证据（负自由能）来表示其身份的分布 ψi。因此，粒子传递关于其自身身份的信念。这些传递的信号被相邻的粒子感知。信号的衰减呈指数函数与它们在共享相空间中的距离（例如，在皮层区域内的局部与远程突触连接或扩散性神经调节剂释放中），因此粒子的局部信号强度 m ∈ R4 为：

粒子位置之间的向量由 Δx→j = x→j − x→ 给出。我们在模拟中引入了两项数值创新，与Palacios和同事报告的模拟相比有所不同。与其让粒子直接感知局部信号强度，我们让它们感知四个信号的（2D）空间流向量 R→ ∈ R2 × R4，即信号随位置变化的相对变化率，或者是其比例强度梯度。

通过结合方程（1-3），我们可以证明任何指数衰减变量的流向量满足：

其中D是缩放参数。实际上，这个矩阵编码了四个身份之间空间邻近性的兼容性。具体来说，粒子可以（推断它们）属于两个高阶系综之一，其中这些系综本身就是由内部状态和毯状状态组成的高级粒子。粒子可以形成关于它们是一个上级马尔可夫毯子的内部状态ψ1或毯子状态ψ2的信念，或者是另一个上级马尔可夫毯子的毯子状态ψ3或内部状态ψ4的信念。这些恒等式仅在相关期望P(R|ψ) 方面有所不同，其中推断一个是马尔可夫毯子的内部状态ψ1涉及到远离属于马尔可夫毯子一部分的粒子（2D 距离）的期望。另一个高级粒子ψ3,4，反之亦然。

识别为ψ2或ψ3的粒子对应于分隔上级系综内部态的覆盖态。因此，覆盖状态ψ2与对应的内部状态ψ1以及另一系综的覆盖状态ψ3的接近度（1D的距离）兼容。反过来，覆盖状态ψ3与接近内部状态ψ4和其他系综的覆盖状态兼容：

我们现在导出内部状态 μ 的模型证据的更新。内部状态流由变分自由能F 上的梯度流给出：

这里，波形符表示广义坐标，包含变量及其所有时间导数。我们建议读者参阅 Palacios 及其同事（2020）以获得完整的描述。我们考虑小高斯波动的一阶近似；在这种情况下，我们获得模型证据的变化率μ：

这里， ΠR、 Πψ 、 Πμ是对模型证据μ和预测误差εR、 εψ进行归一化的感觉和内部精度（逆方差） ：

换句话说，每个粒子身份的模型证据随着归一化预测误差而变化，其中预测误差量化了感测到的流矢量（的大小）与关于流矢量的大小的先验信念之间的差异。

最后，我们继续考虑活性状态，它对应于化学发射器(aψ ε R4)和电机执行器(ax ε R2) ，它们将粒子移动通过相空间x。活动状态的流程反映了内部状态的流程：

细胞内自我交流是一种最小类型的记忆，由化学发射器调节，该化学发射器通过标准化高斯波动（如上所述）传达身份信念：

aψ = ψ

总之，我们在这里所做的就是写下任何神经元或粒子期望感知的相对简单的生成模型，具体取决于其身份（例如，功能选择性）以及与共享相同生成模型的其他粒子的空间关系。

这种生成模型意味着人们可以计算变分自由能梯度和随后的特定状态流，这可以理解为神经元动力学或运动。这种动态必然会表现出自组织、自组装和不证自明的方面，因为它最大限度地减少了外部环境（共享）模型证据的变分界限。至关重要的是，外部环境是由粒子组成的，这些粒子都试图做同样的事情，从而满足彼此的期望。从技术上讲，因为我们正在处理连续状态和高斯涨落，所以变分自由能梯度成为预测误差。这可以从上面的方程中看出，其中内部和活动状态的流动是各种预测误差的函数。从生物物理角度来看，这些预测误差将与电化学变量的设定点相对应，这样当预测误差全部为零并且每个粒子都找到其变化自由能最小值时，粒子就会继续移动（图3）

为了说明前面几节中概述的概念，我们构建了两组数值实验。这些将分别说明：

‧ 出现了两个马尔可夫覆盖系统，这是由于应用外部场而产生的，该外部场为一小部分粒子提供了系综成员资格(ψ1,2)的证据。 ‧ 马尔可夫毯形成的瞬态和动态性质

7. Software note The Python code for this paper is available at https://github.com/al ec-tschantz/packets. To recreate the figures four, five and six, please run packets_figure_01.py, packets_figure_02.py and packets_figure_03.py, respectively. Further information on recreating the figures and data are available in the linked repository. This code is based on a generalised filtering scheme written in the SPM software for the MATLAB environment; namely, the DEM_cells.m and DEM_cells_cells.m scripts, which implement the self-organisation of a single ensemble Markov blanketed ensemble and an ensemble of such ensembles, respectively. The original routines are available at http://www.fil.ion.ucl.ac.uk/spm.