主动推理一书 序及第一章翻译

Active Inference The Free Energy Princi ple in Mind, Brain, and Be hav ior

Thomas Parr, Giovanni Pezzulo, and Karl J. Friston

翻译：志愿者 zlgj

1概述3

2通往主动推理的最低级道路15

3通往主动推理的捷径41

4主动推理的生成模型63

5信息传递和神经生物学85

二

6设计主动推理模型105的方法

7离散时间中的主动推理125

8连续时间中的主动推理153

9基于模型的数据分析173

10作为感知行为统一理论的主动推理191

附录A:数学背景225

附录B:主动推理的方程式243附录Matlab代码的注释示例259注释267

参考文献273

索引295

前言

本书中的信念指的是对事物概率分布情况的认知。

卡尔·弗里斯顿

主动推理是理解感知行为的一种方式。你正在阅读这几行文字的事实意味着你正在进行积极的推理——也就是说，以一种特殊的方式积极地探索世界——因为你相信你会学到一些东西。你用你的眼睛触摸这一页，仅仅是因为这是一种可以解决不确定性的行为，而不确定性也就是关于你接下来会看到什么，以及——事实上——这些文字传达了什么。简而言之，主动推理将行为置于感知之中，从而将感知视为（有知觉的推断或假设的）检验。主动推理甚至更进一步，将计划也视为推理——也就是说，推断你下一步要做什么来消除你所生活的世界的不确定性。

为了说明主动推理的简单性——这也是我们试图解释的内容——把你的指尖轻轻地放在你的腿上。让他们在那里一动不动一两秒钟。现在，你的腿感觉粗糙还是光滑？如果你不得不移动手指来表示粗糙或光滑的感觉，你已经发现了主动推理的基础——感觉，也就是触摸,看就是看,听就是听。这种探索不一定是明显的——我们可以通过把我们的注意力引向这个或那个来秘密地行动。简而言之，我们不只是试图理解我们的感觉；我们必须积极主动地进行感知。在接下来的内容中，我们将会看到为什么会是这样，为什么我们所感知的，所做的，或所计划的一切都可以看作是一种行为所需的必要条件，这个行为就是自我证明。

主动推理不仅仅是阅读或认知搜寻。从一个角度来看，这是所有生物和粒子因其存在而做的事情。这听起来像是一个强有力的主张；然而，它说明了一个事实，即主动推理继承了自由能量原理，这个原理把存在等同于自证，把自证等同于一种能动的推理推论。然而，本书与感知系统的物理学无关。它的焦点是这种物理学对理解大脑如何工作的影响。

正如几千年的自然哲学和几个世纪的神经科学所见证的那样，理解这一点并不容易。虽然人们可以在对自组织行为的第一原理解释中找到主动推理的根源(即类似于汉密尔顿静止作用原理的变分原理)，但在询问特定大脑如何工作以及它与另一个大脑有何不同时，第一原理没有太大帮助。例如，当谈到理解为什么我有两只眼睛或说法语时，致力于自然选择的进化论丝毫没有帮助。这本书是关于使用原则来构建神经科学和人工智能中的关键问题的。要做到这一点，我们必须超越原则，掌握原则适用的机制。

因此，主动推理——及其伴随的贝叶斯机制——是用来构建关于我们如何感知、计划和行动的问题的。至关重要的是，它并不旨在取代其他框架，如行为心理学、决策理论和强化学习。相反，它希望在一个统一的框架内包含所有那些被证明非常成功的方法。在接下来的内容中，我们将特别关注将心理学、认知神经科学、实践论、动物行为学等的关键结构与主动推理中的信念更新演算及其相关的过程理论联系起来。

关于过程理论，我们指的是关于信念如何通过大脑中的神经元(和其他生物物理)过程实现更新的理论。到目前为止，主动推理方面的工作提供了一套相当简单的计算架构和模拟工具，既可以模拟大脑功能的各个方面，又可以让人们测试关于不同计算架构的假设。然而，这些工具只解决了一半的问题。主动推理的核心是一个生成模型——也就是说，一个不可观察的原因如何产生可观察的结果——也就是我们的感觉的概率表示。然而，获得正确的生成模型作为对任何实验对象或生物的感知行为的恰当解释是一个巨大的挑战。

这本书试图解释如何迎接这一挑战。第一部分建立了第二部分中用到的基本思想和形式——以说明如何在实践中应用它们。简而言之，这本书是为希望使用主动推理来模拟和建模感知行为的人准备的，服务于科学调查或可能的人工智能领域。因此，它侧重于那些理解和实现一个主动推理方案所必需的思想和程序，而不会被感知系统的物理学或者其他哲学方面的内容所分心。

卡尔·弗里斯顿的一封信

我要坦白一件事。这本书我写得不多。或者更准确地说，我不被允许。这本书的议程要求一种清晰明了的写作风格，这超出了我的理解范围。虽然我被允许说几句我最喜欢的话，但接下来的话证明了托马斯和乔瓦尼，他们对手头问题的深刻理解，更重要的是，他们的心灵理论——在所有意义上。

感谢

我们衷心感谢我们的朋友和同事提供的宝贵意见，特别是伦敦大学学院韦尔科姆人类神经影像中心理论神经生物学小组的前任和现任成员；意大利国家研究委员会认知科学与技术研究所的行动认知实验室；和众多的国际合作者，他们对本书提出的观点的发展起到了不可或缺的作用。这个年轻但不断成长的社区在提供英特尔智能支持和激励方面非常慷慨。此外，我们非常感谢麻省理工学院出版社的Robert Prior和Anne-Marie Bono在本书的准备过程中给予我们的友好陪伴和建议，以及Jakob Hohwy和其他深思熟虑的审稿人的指导。最后，我们感谢为我们的研究提供资金支持的资助机构:KJF由威康信托基金首席研究员基金资助(Ref:088130/Z/09/Z)；GP由欧洲研究理事会根据第820213号赠款协议(ThinkAhead)和欧盟根据第945539号特别赠款协议(人脑项目SGA3)为研究和创新制定的地平线2020框架计划提供资助。

1.概述

机遇青睐有准备的人。 —路易·巴斯德

1.1 介绍

这一章介绍了主动推理试图解决的主要问题:生物如何在与环境进行适应性交换的同时保持生存？我们将从规范的角度讨论解决这个问题的动机，从基本原则开始，解开它们的认知过程和生物学意义。此外，本章简要介绍了本书的结构，包括它的两个部分: 第一部分旨在帮助读者理解主动推理，第二部分旨在帮助他们在自己的研究中使用它。

1.2生命体是如何持续存在并自适应地采取行动的？

活生物体不断地与它们的环境(包括其他生物体)进行相互作用。它们发出改变环境的动作，并接受来自环境的感官观察，如图1.1所示。

图1.1 一个将生物与其环境相互联系的行动-感知循环。环境这个术语是有意通用的。在我们讨论的例子中，它可以包括物理世界、身体、社会环境等等。

生物只能通过对行动-感知循环进行适应性控制来维持其身体完整性。这意味着生物需要采取行动来获取与期望结果或目标相对应的感知观察（例如，伴随着对简单生物而言的安全营养和庇护的感觉，或对更复杂生物而言的朋友和工作的感觉），或者在理解世界方面提供帮助（例如，向生物提供有关其周围环境的信息）。

参与适应环境的行动-感知循环对生物体来说是巨大的挑战。这主要是因为这一循环具有递归性质，每次观察都是由先前的行动引发的，而每次观察的改变都影响我们对下一步行动的决策，以引发下一次观察。对于控制和适应的可能性很多，但有用的却很少。然而在进化过程中，生物体成功地发展了应对那些基本挑战的适应性策略。这些策略在认知复杂性上存在差异，较简单的生物体采用较简单、更刚性的解决方案（例如，细菌沿养分梯度移动），而较先进的生物体采用较为认知要求高、更灵活的解决方案（例如，人类为实现远期目标而制定计划）。这些策略在它们被选择和操作的时间尺度上也存在差异，包括对环境威胁的简单响应、在进化时间尺度上发生的形态适应，以及在文化或发育学习中建立的行为模式，一直到需要在与行动和感知相适应的时间尺度上操作的认知过程（例如，注意力和记忆）。

1.3主动推理:来自基本原则的行为

上一节中的这种多样性对生物学来说是一种幸事，但对大脑和思维的正式理论来说却是一种挑战。大体上，我们可以从两个角度来看待这个问题。一种观点认为，不同的生物适应、神经过程(如突触交换和大脑网络)和认知机制(如感知、注意力、社会互动)是高度特异的，需要专门的解释。这将导致哲学、心理学、神经科学、动物行为学、生物学、人工智能和机器人学等领域的理论激增，它们统一的希望渺茫。另一个观点是，尽管它们有不同的表现形式，但活的有机体的行为、认知和适应的中心方面是服从于第一原理的一致解释的。

大体上，我们可以从两个角度来看待这个问题。一种观点认为，不同的生物适应、神经过程(如突触交换和大脑网络)和认知机制(如感知、注意力、社会互动)是高度特异的，需要专门的解释。这将导致哲学、心理学、神经科学、动物行为学、生物学、人工智能和机器人学等领域的理论激增，它们统一的希望渺茫。另一个观点是，尽管它们有不同的表现形式，但活的有机体的行为、认知和适应的中心方面是服从于第一原理的一致解释的。

是否有可能像neats所假设的那样，从第一原理来解释异质的生物和认知现象？理解大脑和心灵的统一框架可能吗？

这本书肯定地回答了这些问题，并提出了主动推理作为理解大脑和思维的规范方法。我们对主动推理的处理从基本原则开始，并解开它们的认知和生物学含义。

1.4这本书的结构

这本书由两部分组成。这些是针对那些想理解主动推理(第一部分)的读者和那些试图用它进行自己的研究(第二部分)的读者。这本书的第一部分从概念上和形式上介绍了主动推理，将其置于当前认知理论的背景中。第一部分的目标是提供一个全面的、正式的，主动推理的独立介绍，包括它的主要结构和对大脑和认知研究的启示。

本书的第二部分举例说明了相关计算模型的具体例子，这些模型使用主动推理来解释认知现象，如感知、注意力、记忆和规划等。第二部分的目标是帮助读者理解现有的使用主动推理的计算模型和设计新的模型。简而言之，这本书分为理论(第一部分)和实践(第二部分)。

1.4.1第一部分:理论上的主动推理

主动推理是一个描述生物体内贝叶斯最优行为和认知的规范框架。它的规范性特征表现在这样一个观点中，即活器官组织行为和认知的所有方面都遵循一个独特的原则:最小化它们的感官观察的以外。意外的含义必须从技术意义上来解释:它衡量一个主体当前的感官观察与其期望的感官观察(即那些保持其完整性的观察，例如，对于一条鱼应该是在水中的)有多大差异。重要的是，最大限度地减少意外并不是被动观察环境就能做到的:相反，智能体必须适应性地控制他们的行动-感知循环，以征求所需的感官观察。这是主动推理的主动部分。

由于技术原因，怎样将意外最小化，被证明是一个具有挑战性的问题，这将在后文中显现出来。主动推理为这个问题提供了一个解决方案。它假设，即使生物不能直接最小化它们的意外，它们也能最小化一个被称为(变分)自由能的代理来达到目的。这个量可以通过响应(和预测)感官观察的神经计算来最小化。这种对自由能最小化的强调揭示了主动推理和激发它的(第一)原理之间的关系:自由能原理(Friston 2009)。

自由能最小化似乎是解释生物现象的一个非常抽象的起点。然而，从中可以得到许多形式上和经验上的启示，并解决认知和神经理论中的许多核心问题。这些问题包括自由能最小化所涉及的变量如何在神经元群体中编码；最小化自由能的计算如何映射到特定的认知过程，如感知、行动选择和学习；以及当一个主动推理代理最小化其自由能时，会出现什么样的行为。

正如上面的主题列表所举例说明的，在本书中，我们主要关注活生物体水平上的主动推理和自由能最小化——包括更简单(例如，细菌)或更复杂(例如，人类)——及其行为、认知、社会和神经过程。这种澄清对于我们在更普遍的自由能原理(FEP)内处理主动推理是必要的，因为自由能原理讨论了超出神经信息处理范围的更广泛的生物现象和时间尺度的自由能最小化-从进化到细胞和文化(Friston，Levin等人，2015；伊索穆拉和弗里斯顿2018；帕拉西奥斯、拉齐等人2020；Veissière等人，2020)，而这超出了本书的范围。

可以用于激发主动推理的路有两条:一条大路和一条小路，采用其中的任意一条都是可能的；参见图1.2。这两条道路为主动推理提供了两种不同但高度互补的观点:

•通往积极推理的捷径始于这样一个问题，即生物如何在世界中适应地生存和行动，以及如何激发动机主动推理作为这些问题的规范性解决方案。这种高度的视角有助于理解主动推理的规范性本质:面对基本的潜在挑战，生物必须做什么(最小化它们的自由能)以及为什么(替代性地最小化它们感官观察的意外)。

图1.2主动推理的两条路:高路(从右上开始)和低路(从左下开始)。

•通往主动推理的低端道路始于贝叶斯大脑的概念，它将大脑视为一个推理引擎，试图去优化其对感官输入原因的概率表示。然后，它促使主动推理成为(否则难以解决的)推理问题的一种特定的、变化的近似，这具有一定程度的生物合理性。这种低路的视角有助于说明主动推理者如何最小化其自由能——因此，说明主动推理不仅是一种原理，而且是认知功能及其神经基础的一种机械解释(又名过程理论)。

在第二章中，我们阐述了主动推理的低级观点。我们从将感知视为统计(贝叶斯)推理问题的基础理论(Helmholtz 1866)及其在贝叶斯大脑假说中的现代体现(Doya 2007)开始。我们将看到，为了执行这种(感知)推理，活生物体必须配备或体现一个关于它们的感官观察如何产生的概率生成模型，该模型对关于可观察变量(感官观察)和不可观察变量(隐藏变量)的信念(概率分布)进行编码。我们将把这种推理观点扩展到感知之外，以涵盖行动选择、计划和学习的问题。

在第三章中，我们将阐述主动推理的补充性高路观点。本章介绍了FEP和生物有机体在减少观察中的意外的必要性。除此之外，它还揭示了这一原理是如何包含自组织动力学，并保持与环境分离的统计边界或马尔可夫链的。这对于维持生物的完整性至关重要，也是它们自我生成的核心。

在第四章，我们将更正式地展开主动推理。这一章从第二章对贝叶斯大脑的讨论中得到启示，并阐述了第三章的自证动力学和变分推理之间的数学关系。此外，本章阐述了两个用于表述主动推理问题的不同的生成模型。这些包括，可以用于决策和计划的部分中的马尔可夫决策过程，以及与感受器和肌肉交互的连续时间动态模型。最后，我们会看到这些模型的自由能最小化是如何表现为动态信念更新的。在第五章中，我们将从对推理形式的理解转移到主动推理的生物学含义。从“大脑中发生变化的一切都必须使自由能最小化”(Friston 2009)这一前提出发，我们将讨论自由能最小化中涉及的具体量(如预测、预测误差和精度信号)如何在神经元动力学中表现出来。这有助于将主动推理的抽象计算原理映射到可由生理底物执行的特定神经计算。这对于在这一框架下做出假设很重要，并能确保所作出的假设符合测量数据。换句话说，第五章阐述了与主动推理相关的过程理论。

在本书的第一部分，我们将讨论主动推理的几个特征。这些强调了主动推理与其他试图解释生物调节和认知的框架的不同之处——其中一些我们在本章预览。

•在主动推理下，感知和行动是完成同一任务的两种互补方式:最小化自由能。感知通过(贝叶斯)信念更新或改变你的想法来最小化自由能(和意外),从而使你的信念与感官观察相容。相反，行动通过改变世界，使之与你的信念和目标更加一致，从而使自由能量(和意外)最小化。这种认知功能的统一是主动推理与其他将行为和感知彼此孤立对待的方法之间的根本区别。学习是另一种最小化自由能的方法。但是，它与感知并没有本质的不同；它只是在一个较慢的时间尺度上运作。感知和行动之间的互补性将在第二章中阐述。

除了在当前推动行动选择以改变当前可用的感觉数据之外，主动推理框架还包括规划——或者选择未来最佳行动方案（或策略）。这里的最优性是相对于预期自由能进行衡量的，并且与在行动和感知背景下考虑的变分自由能概念有所不同。事实上，计算变分自由能依赖于当前和过去的观察，而计算预期自由能还需要对未来观察的预测（因此使用了“预期”这个术语）。有趣的是，策略的预期自由能包括两个部分。第一部分衡量策略预计能够解决不确定性的程度（探索），第二部分衡量预测结果与代理目标一致的程度（利用）。与其他框架不同，主动推理中的策略选择自动平衡了探索和利用。变分自由能量和预期自由能量之间的关系将在第2章中详细阐述。

•在主动推理下，所有的认知操作都被概念化为生成模型的推理——与大脑执行概率计算的想法一致——也称为贝叶斯大脑假设。然而，大脑所使用的是贝叶斯推理的特定近似形式——即由第一原理驱动的变分方案——这增加了过程理论的特异性。此外，主动推理将推理方法扩展到很少考虑的认知领域，并为生物大脑可以实现的模型和推理过程增加了一些特异性。在某些假设下，从主动推理中使用的生成模型中出现的动力学与计算神经科学中广泛使用的模型密切对应，如预测编码(Rao和Ballard 1999)和亥姆霍兹机器(Dayan等人1995)。变分方案的细节将在第四章中阐述。

•在主动推理下，感知和学习都是主动过程，原因有二。首先，大脑本质上是一个预测机器，它不断地预测将到来的刺激，而不是被动地等待它们。这一点很重要，因为感知和学习过程总是受到先前预测的影响(例如，预期和意外刺激以不同的方式影响感知和学习)。第二，参与主动推理的生物会主动寻找清晰的感官观察，以解决它们的不确定性(例如，通过定位它们的传感器或选择有信息的学习片段)。感知和学习的主动特征与当前大多数理论形成了鲜明的对比，这些理论认为感知和学习主要是被动的过程；这将在第2章中展开。

•行动本质上是目标导向和有目的的。它始于一个期望的结果或目标(类似于控制论中设定点的概念)，它被编码为一个预先的预测。规划通过推断满足该预测(或者等效地满足，来减少先前预测和当前状态之间的任何预测误差)的动作序列来进行。主动推理中行动的目标导向特征与早期的控制论公式一致，但与大多数用刺激-反应映射或国家-行动政策来解释行为的当前理论不同。刺激反应或习惯性行为于是主动推理中一个更广泛的政策家族的特例。主动推理的目标导向性质将在第二章和第三章中展开。

•主动推理的各种结构在大脑中有看似合理的生物类似物。这意味着，一旦一个人为手头的问题定义了一个具体的一般模型，他就可以从作为规范理论的主动推理转向作为过程理论的主动推理，后者做出具体的经验预测。例如，知觉推理和学习分别对应于改变突触活动和改变突触效能。预测的精度(在预测编码中)对应于预测误差单元的突触增益。政策的精确性对应于多巴胺能活性。主动推理的一些生物学后果将在第五章中阐述。

1.4.2第二部分:实践中的主动推理

虽然这本书的第一部分为读者提供了理解主动推理的概念和形式工具，但第二部分侧重于实际问题。具体而言，我们希望为读者提供理解现有认知功能（以及功能障碍）的主动推理模型以及设计新模型的工具。为此，我们讨论了使用主动推理的具体模型示例。值得注意的是，主动推理模型可以在不同维度上变化（例如，使用离散或连续时间公式，平坦或分层推理）。第二部分的结构如下所示：.

在第六章中，我们介绍了构建主动推理模型的方法。这个方法涵盖了设计有效模型的基本步骤，包括确定感兴趣的系统、选择最合适的生成模型形式（例如，用于描述离散或连续时间现象的形式），以及要包含在模型中的具体变量。因此，本章为后续章节中讨论的模型提供了设计原则的介绍。

在第七章中，我们讨论了在离散时间内构建的主动推理模型，例如隐藏马尔可夫模型（HMMs）或部分可观测马尔可夫决策过程（POMDPs）。我们的示例包括感知处理模型和离散觅食选择模型——即在决策点上选择左转还是右转以获得奖励。我们还介绍了信息寻求、学习和新奇寻求等主题，这些主题可以用离散时间的主动推理来处理。

在第八章中，我们讨论了在连续时间内构建的主动推理模型，使用随机微分方程。这些模型包括感知模型（如预测编码）、运动控制和顺序动力学。有趣的是，在连续时间的公式中，一些最独特的主动推理预测出现了，例如运动生成源于预测的实现，注意现象可以用精度控制来理解。我们还介绍了包含离散和连续时间变量的混合主动推理模型。这些模型允许同时评估离散选项（例如注视的目标）和由选择产生的连续运动（例如眼动）。

在第九章中，我们演示了如何使用主动推理模型分析行为实验数据。我们讨论了基于模型的数据分析所需的具体步骤，从数据收集到模型的构建及其反演，以支持单个参与者或群体水平的数据分析。

最后，在第十章中，我们讨论了主动推理与心理学、神经科学、人工智能和哲学等其他理论之间的关系。我们还强调了主动推理区别于其他理论的最重要的方面。

在附录中，我们简要讨论了理解本书中最技术性的部分所需的数学背景，包括泰勒级数近似、变分拉普拉斯、变分微积分等概念。为了参考，我们还以简洁的形式呈现了主动推理中使用的最重要的方程式。

总之，这本书的第二部分阐述了生物和认知现象的各种各样的模型，这些模型可以使用主动推理和设计新模型的方法来构建。除了对特定模型的兴趣之外，我们希望我们的处理阐明了使用统一的规范框架实现从一致的角度处理生物和认知现象的价值。最后是规范框架的真正吸引力:提供统一的视角和指导原则来调和明显不相关的现象——像感知、决策、注意力、学习和运动控制这样的现象，尽管这些现象在心理学或神经科学手册中各自有不同的章节。

第二部分中突出显示的模型是为了尽可能简单地说明特定观点而选择的。虽然我们涵盖了从离散时间决策到连续时间感知和运动控制的多个模型和领域，但我们明显忽略了许多同样有趣的其他模型。文献中还存在许多其他主动推理模型，涵盖了各种领域，例如生物自组织和生命起源（Friston 2013）、形态发生（Friston、Levin等，2015）、认知机器人学（Pio-Lopez等，2016；Sancaktar等，2020）、社会动态和生态位构建（Bruineberg、Rietveld等，2018）、突触网络的动态（Palacios、Isomura等，2019）、生物网络中的学习（Friston和Herreros，2016）以及心理病理条件，例如创伤后应激障碍（Linson等，2020）和惊恐障碍（Maisto、Barca等，2021）。这些模型在许多维度上存在差异：有些与生物学直接相关，而其他一些则不太相关；有些是单一代理模型，而其他一些是多代理模型；有些针对自适应推理，而其他一些针对非自适应推理（例如在患者群体中），等等。

这些不断出现的文献证明了主动推理的日益流行，以及其应用于非常广泛的领域中的可能性。这本书的目的是让我们的读者能够理解并在他们自己的研究中使用主动推理——可能的话，去探索其不可预见的潜力。

1.5 总结

本章简要介绍了从规范角度解释生物学问题的主动推理方法，并预览了这一观点的一些含义，这些含义将在后面的章节中展开。此外，本章还强调了本书分为两个部分，旨在帮助读者理解主动推理和在自己的研究中使用它。在接下来的几章中，我们将发展此处概述的低路和高路视角，然后深入探讨生成模型的结构和由此产生的信息传递。总之，这些共同构成了原则上的主动推理，并为实践中的主动推理提供了前提。我们希望这些章节将说服读者----主动推理不仅提供了一个理解行为的统一原则，而且提供了一个容易处理的方法来研究自主系统中的行为和感知的