ASI 8年计划 paper3书:一个框架整合大脑理论 概要+公式图表

第一章 概观

机遇青睐有准备的人。 -路易斯巴斯德

1.1简介

本章介绍了主动推理的主要问题 寻求解决:当生物体与它们的环境进行适应性交换时，它们是如何生存的？我们从规范的角度讨论解决这个问题的动机，从基本原则开始，然后解开它们的认知和生物学含义。此外，本章简要介绍了这本书的结构，包括它分为两个部分:第一部分旨在帮助读者理解主动推理，第二部分旨在帮助他们在自己的研究中使用它。

1.2生命体是如何持续存在并适应性行动的？

活生物体不断地与它们的环境(包括其他生物体)进行相互作用。它们发出改变环境的动作，并接受来自环境的感官观察，如图1.1所示。

活的有机体只能通过对行动-感知回路施加适应性控制来维持它们的身体完整性。这意味着采取行动获得与预期结果或目标相对应的感官观察(例如，伴随简单生物体的安全营养和庇护所，或更复杂生物体的朋友和工作的感觉)，或帮助理解世界(例如，告知生物体其周围环境)。

参与适应环境的行动-感知循环对生物体构成了巨大的挑战。这在很大程度上是由于循环的递归性质，其中由前一个动作请求的每个观察改变我们如何决定下一个动作，以请求下一个观察。控制和适应的可能性很多，但很少是有用的。然而，在进化过程中，生物体设法发展出适应性策略来面对生存的基本挑战。这些策略在认知复杂程度上有所不同，在较简单的生物体中，解决方案更简单、更严格(例如，在细菌中遵循营养梯度)，在更高级的生物体中，解决方案在认知上要求更高、更灵活(例如，计划在人类中实现更远的目标)。

这些策略也因其选择和运作的时间尺度而异——从对环境威胁的简单反应或在进化时间尺度上出现的形态适应，到在文化或发展学习期间建立的行为模式，直到那些需要在与行动和感知(如注意力和记忆力)相当的时间尺度上运作的认知过程。

1.3主动推理:来自第一原则的行为

这种多样性对生物学来说是一种幸事，但对大脑和思维的正式理论来说却是一种挑战。大体上，我们可以从两个角度来看待这个问题。一种观点认为，不同的生物适应、神经过程(如突触交换和大脑网络)和认知机制(如感知、注意力、社会互动)是高度特异的，需要专门的解释。这将导致哲学、心理学、神经科学、动物行为学、生物学、人工智能和机器人学等领域的理论激增，几乎没有统一的希望。另一个观点是，尽管有不同的表现形式，但活生物体的行为、认知和适应的核心方面都可以从第一原理得到一致的解释。

这两种可能性映射到两种不同的研究项目，在某种程度上，映射到对待科学的不同态度:“neats”与“scruffies”(这两个术语来自罗杰·申克)。Neats总是在大脑和思维现象的(明显的)异质性之外寻求统一。这通常对应于设计自上而下的、规范的模型，这些模型从基本原则出发，并试图尽可能多地推导出关于大脑和思维的信息。相反，Scruffies通过关注需要专门解释的细节来拥抱异质性。这通常对应于设计自下而上的模型，这些模型从数据出发，使用任何可行的方法来解释复杂的现象，包括对不同现象的不同解释。

是否有可能像neats所假设的那样，从第一原理来解释异质的生物和认知现象？理解大脑和心灵的统一框架可能吗？ 这本书肯定地回答了这些问题，并提出了主动推理作为理解大脑和思维的规范方法。我们对主动推理的处理从基本原则开始，并解开它们的认知和生物学含义。

1.4本书的结构

这本书由两部分组成。这些是针对那些想要理解主动推理(第一部分)的读者和那些寻求使用它进行自己的研究(第二部分)的读者。 这本书的第一部分从概念上和形式上介绍了主动推理，将其置于当前认知理论的背景中。第一部分的目标是对主动推理提供一个全面的、正式的、独立的介绍:它的主要结构和对大脑和认知研究的启示。

这本书的第二部分举例说明了使用主动推理来解释认知现象的计算模型的具体例子，如感知，注意，记忆和规划。第二部分的目标是帮助读者理解现有的使用主动推理的计算模型，并设计新的模型。简而言之，这本书分为理论(第一部分)和实践(第二部分)。

1.4.1第一部分:理论上的主动推理

主动推理是一个描述生物体内贝叶斯最优行为和认知的规范框架。它的规范性特征表现在这样一个观点中，即活的有机体的行为和认知的所有方面都遵循一个独特的命令:最小化它们的感官观察的惊奇。惊喜必须从技术的角度来解释:它衡量一个主体当前的感官观察与其首选的感官观察(即保持其生存完整性的观察)有多大差异(例如，对于一条鱼，在水中)。重要的是，最大限度地减少惊讶不是被动观察环境就能做到的:相反，代理人必须适应性地控制他们的行动-感知循环，以探求所需的感官观察。这是主动推理的主动部分。

由于技术原因，最小化惊喜被证明是一个具有挑战性的问题，稍后将变得明显。主动推理为这个问题提供了一个解决方案。 它假设，即使生物不能直接最小化它们的惊奇，它们也能最小化一个代理——称为(变分)自由能。这个量可以通过响应(和预期)感官观察的神经计算来最小化。这种对自由能最小化的强调揭示了主动推理和激发它的(第一)原则之间的关系:自由能原则(Friston 2009)。

自由能最小化似乎是解释生物现象的一个非常抽象的起点。然而，我们可以从中推导出一些形式上和经验上的含义，并解决认知和神经理论中的一些核心问题。这些包括涉及自由能最小化的变量如何在神经元群体中编码；最小化自由能的计算如何映射到特定的认知过程，如感知、行动选择和学习；以及当一个主动推理代理使其自由能最小化时会出现什么样的行为。

正如上面的主题列表所举例说明的，在本书中，我们主要关注活生物体水平上的主动推理和自由能最小化——更简单(例如，细菌)或更复杂(例如，人类)——及其行为、认知、社会和神经过程。这种澄清是必要的，以便将我们对主动推理的处理置于更普遍的自由能原理(FEP)的背景下，该原理讨论了超出神经信息处理的更广泛的生物现象和时间尺度的自由能最小化，从进化到细胞和文化(弗里斯顿，莱文等人。 2015;伊索穆拉和弗里斯顿2018；帕拉西奥斯、拉齐等人2020；Veissière等人，2020)，这超出了本书的范围。

采取两条路中的一条来激发主动推理是可能的:一条高路和一条低路；参见图1.2。这两条道路为主动推理提供了两种截然不同但高度互补的视角:

通往主动推理的捷径始于这样一个问题，即活的有机体如何在世界中持续存在并适应性地行动，并促使主动推理成为这些问题的规范解决方案。这条大路 视角有助于理解主动推理的规范性本质:面对基本的生存挑战，生物必须做什么(最小化它们的自由能)以及为什么(替代性地最小化它们感官观察的惊奇)。

通往主动推理的低端道路始于贝叶斯大脑的概念，它将大脑视为一个推理引擎，试图优化其感官输入原因的概率表示。然后，它促使主动推理成为(否则难以解决的)推理问题的一种特定的、变化的近似，这具有一定程度的生物合理性。 这种低路视角有助于说明主动推理代理如何最小化其自由能——因此，说明主动推理不仅是一个原则，也是认知功能及其神经元基础的机械解释(又名过程理论)。

在第二章中，我们阐述了主动推理的低路观点。我们从将感知视为统计(贝叶斯)推理问题的基础理论(Helmholtz 1866)及其在贝叶斯大脑假说中的现代体现(Doya 2007)开始。我们将看到，要执行这样的 (感知)推理，活生物体必须配备或包含一个概率生成模型，该模型描述了它们的感官观察是如何产生的，该模型对关于可观察变量(感官观察)和不可观察变量(隐藏变量)的信念(概率分布)进行编码。我们将把这种推理观点扩展到感知之外，以涵盖行动选择、计划和学习的问题。

model evidence (P(y)) and the posterior probability (P(x | y))

approximate posterior Q and a variational free energy F

自由能定义：

在第三章中，我们将阐述主动推理的补充性高路观点。本章介绍了FEP和生物有机体的必要性，以尽量减少惊喜。除此之外，它还揭示了这一原理如何包含自组织的动力学，以及保持与环境分离的统计边界或马尔可夫毯的保存。这对于维持生物的完整性至关重要，也是它们自我生成的核心。

maximizing model evidence P(y) is mathematically equivalent to minimizing surprise: ℑ(y) = −lnP(y).

H[P(y)] = EP(y )[ℑ(y)] = −EP(y )[ln P(y)] 3.1

在第四章，我们将更正式地展开主动推理。从第二章对贝叶斯大脑的讨论中得到启示，并阐述了第三章的自证动力学和变分推理之间的数学关系。此外，本章还阐述了两种用于表述主动推理问题的生成模型。这些包括用于决策和规划的部分观察到的马尔可夫决策过程，以及与感觉受体和肌肉接口的连续时间动态模型。最后，我们看到这些模型的自由能最小化是如何表现为动态信念更新的。

更完善的公式推导等可以参考

《A step-by-step tutorial on active inference and its application to empirical data 》 https://psyarxiv.com/b4jm6/download

在第五章，我们将从形式转移到主动推理的生物学含义。通过从“大脑中发生变化的一切都必须使自由能最小化”(Friston 2009)这一前提出发，我们将讨论自由能最小化所涉及的具体量(例如，预测， 预测误差和精确信号)。这有助于将主动推理的抽象计算原理映射到可由生理底物执行的特定神经计算。这对于在这一框架下形成假设是重要的，并确保这些假设对测量数据是可回答的。换句话说，第五章阐述了与主动推理相关的过程实现理论。

神经递质在主动推理中的假定作用

在本书的第一部分，我们将讨论主动推理的几个特征。这些突出了它与试图解释生物调节和认知的替代框架的不同之处——其中一些我们在这里预览。

1 在主动推理下，感知和行动是完成同一命令的两种互补方式:最小化自由能。感知通过(贝叶斯)信念更新或改变你的想法来最小化自由能(和惊喜)，从而使你的信念与感官观察兼容。相反，行动通过改变世界，使之与你的信念和目标更加一致，从而使自由能量(和惊喜)最小化。 这种认知功能的统一标志着主动推理与其他孤立对待行动和感知的方法之间的根本区别。学习是另一种最小化自由能的方法。但是，它与知觉并没有本质的不同；它只是在一个较慢的时间尺度上运作。感知和行动之间的互补性将在第二章中阐述。

2 除了推动当前的行动选择以改变当前可用的感觉数据之外，主动推理框架还适应规划——或者选择未来的最佳行动过程(或政策)。这里的最优性是相对于预期的自由能来衡量的，并且不同于上面在行动和感知的上下文中考虑的变分自由能的概念。事实上，虽然计算变分自由能依赖于现在和过去的观察，计算预期自由能也需要预测未来的观察(因此术语预期)。有趣的是，策略的期望自由能由两部分组成。第一个量化了政策预期解决不确定性的程度(探索)，第二个量化了预测的结果与代理人的目标有多一致(开发)。与其他框架相比，主动推理中的策略选择自动平衡了探索和利用。变分自由能和期望自由能之间的关系将在第二章解开。

3 在主动推理下，所有认知操作都被概念化为基于生成模型的推理，这与大脑执行概率计算的想法一致，也称为贝叶斯大脑假设。 然而，诉诸贝叶斯推理的特定近似形式——即由第一原理驱动的变分方案——增加了过程理论的特异性。此外，主动推理将推理方法扩展到很少考虑的认知领域，并为生物大脑可以实现的模型和推理过程增加了一些特异性。在某些假设下，从主动推理中使用的生成模型中出现的动力学与计算神经科学中广泛使用的模型密切对应，如预测编码(Rao和Ballard 1999年)和亥姆霍兹Helmholtz机器(Dayan等人1995年)。变分方案的细节将在第四章中阐述。

4 在主动推理下，感知和学习都是主动过程，原因有二。首先，大脑本质上是一个预测机器，它不断地预测到来的刺激，而不是被动地等待它们。这一点很重要，因为感知和学习过程总是受到先前预测的影响(例如，预期和意外刺激以不同的方式影响感知和学习)。第二，参与主动推理的生物会主动寻找显著的感官观察，以解决它们的不确定性(例如，通过定向它们的传感器或选择信息丰富的学习片段)。 感知和学习的主动特征与当前大多数理论形成了鲜明的对比，这些理论将感知和学习视为被动的过程；这将在第2章中展开。

5 行动本质上是目标导向和有目的的。它始于一个期望的结果或目标(类似于控制论中设定点的概念)，它被编码为一个预先的预测。规划通过推断实现该预测(或者等效地，减少先前预测和当前状态之间的任何预测误差)的动作序列来进行。 主动推理中行动的目标导向特征与早期的控制论公式一致，但与大多数用刺激-反应映射或状态-行动策略来解释行为的当前理论不同。刺激反应或习惯性行为就成了主动推理中一系列策略的特例。主动推理的目标导向性质将在第二章和第三章中展开。

6 主动推理的各种结构在大脑中有看似合理的生物类似物。这意味着，一旦一个人为手头的问题定义了一个特定的生成模型，他就可以从作为规范理论的主动推理转向作为过程实现理论的主动推理，后者做出特定的经验预测。例如，知觉推理和学习分别对应于改变突触活动和改变突触效能。预测的精度(在预测编码中)对应于预测误差单元的突触增益。策略的精确性对应于多巴胺能活性。主动推理的一些生物学后果将在第五章中阐述。

1.4.2第二部分:实践中的主动推理

虽然这本书的第一部分为读者提供了理解主动推理的概念和形式工具，但第二部分侧重于实际问题。具体来说，我们希望为读者提供工具来理解现有的认知功能(和功能障碍)的主动推理模型，并设计新的模型。为此，我们讨论了使用主动推理的模型的具体例子。重要的是，主动推理的模型可以沿着不同的维度变化(例如，利用离散或连续的时间公式、平面或分层推理)。第二部分的结构如下:

在第六章中，我们介绍了一个建立主动推理模型的方法。该方法涵盖了设计有效模型的基本步骤，包括感兴趣系统的识别、生成模型的最合适形式(例如，表征离散或连续时间现象)，以及模型中包含的特定变量。因此，本章介绍了支持以下章节中讨论的模型的设计原则。

在第七章中，我们讨论了主动推理模型，它解决了离散时间中的问题；例如，作为隐马尔可夫模型(hmm)或部分地 可观察马尔可夫决策过程。我们的例子包括一个感知处理模型和一个离散觅食选择模型——也就是说，在决定点是向左还是向右转向以确保奖励。我们还介绍了诸如信息寻求、学习和新奇寻求等主题，这些主题可以根据离散时间主动推理来处理。

（有更完整的论文介绍这个主题，后续再展开这块内容）

在第八章中，我们讨论了主动推理模型，它使用随机微分方程来解决连续时间中的公式化问题。这些包括感知模型(如预测编码)、运动控制和序列动力学。 有趣的是，主动推理的一些最独特的预测出现在连续时间公式中，如运动产生源于预测的实现，以及注意现象可以从精确控制的角度来理解。我们还介绍了主动推理的混合模型，包括离散和连续时间变量。这允许同时评估离散选项(例如，迅速扫视的目标)中的选择和由该选择导致的连续运动(例如，动眼运动)。

连续时间模型的主要进展

在第九章中，我们说明了如何使用主动推理模型来分析来自行为实验的数据。我们讨论了基于模型的数据分析所必需的具体步骤，从数据的收集到模型的形成及其反演，以支持对来自单个参与者或群体水平的数据的分析。

计算病理学

在第十章中，我们讨论了主动推理与其他推理的关系 心理学、神经科学、人工智能和哲学的理论。我们还强调了主动推理区别于其他理论的最重要的方面。

一个框架整合大脑理论 4 认知范式转变后的正宗AGI理论及大量理论的比较

在附录中，我们简要讨论了理解本书大部分技术部分所需的数学背景，包括泰勒级数近似、变分拉普拉斯、变分微积分等概念。为了便于参考，我们还以简明的形式介绍了主动推理中使用的最重要的方程。

A.5 Stochastic Dynamics

A.5.1 Stochastic Differential Equations

B.2.6 Bayesian Model Reduction

B.3 (Active) Generalized Filtering

总之，这本书的第二部分阐述了各种各样的生物和认知现象的模型，这些模型可以使用主动推理和设计新模型的方法来构建。除了对特定模型的兴趣之外，我们希望我们的处理阐明了使用一个统一的、规范的框架从一个连贯的角度来处理生物和认知现象的价值 视角。最后，这是规范框架的真正吸引力:提供统一的视角和指导原则来调和明显不相关的现象——在这种情况下，像感知、决策、注意力、学习和运动控制这样的现象，在任何心理学或神经科学手册中都有单独的一章。

第二部分重点介绍的模型是为了尽可能简单地说明具体问题而选择的。虽然我们涵盖了几个模型和领域，从离散时间决策到连续时间感知和运动控制，但我们显然忽略了许多其他同样有趣的模型和领域。许多其他主动推理模型存在于文献中，涵盖多种多样的领域，如生物自组织和生命起源(Friston，2013年)、形态发生(Friston，Levin等人，2015年)、认知机器人(Pio-Lopez等人，2016年、Sancaktar等人，2020年)、社会动力学和生态位构建(Bruineberg，Rietveld等人，2018年)、突触网络动力学(Palacios，Isomura等人，2019年)、生物网络学习(Friston和Herreros，2019年)这些模型在许多方面有所不同:一些与生物学更直接相关，而另一些则不那么直接；一些是单代理模型，而另一些是多代理模型；一些目标是适应性推理，而另一些目标是不适应性推理(例如，在患者组中)，等等。

这种不断增长的文献例证了主动推理的日益流行和在非常广泛的领域中使用它的可能性。这本书的目的是为我们的读者提供理解并在他们自己的研究中使用主动推理的能力——可能的话，探索其不可预见的潜力。

1.5摘要

本章简要介绍了从规范角度解释生物学问题的主动推理方法，并预览了这一观点的一些含义，这些含义将在后面的章节中展开。此外，本章强调了本书分为两个部分，旨在帮助读者理解积极推理和使用它在自己的研究分别。在接下来的几章中，在深入研究生成模型的结构和由此产生的信息传递之前，我们将发展这里概述的低路和高路视角。这些共同构成了原则上的主动推理，并为实践中的主动推理提供了预备条件。我们希望这些章节将说服读者，主动推理不仅提供了一个理解行为的统一原则，而且提供了一个研究自主系统中的行为和感知的易处理的方法。