Big 5理论、自由能原理和主动推理框架（FEP-AI）

朝向理解个体及其个性的方向：探讨控制论Big 5理论、自由能原理和主动推理框架（FEP-AI）

摘要

在这里，我们回顾了最近的研究，试图将自由能原理和主动推理（FEP-AI）框架的第一原理形式主义与最近提出的一种综合模型相结合，该模型试图将个性作为目标寻求系统的控制变量：控制论Big 5理论（CB5T）。首先，我们总结了这一综合的核心方面，然后介绍了一些新颖的（并具有推测性的）假设，最后考虑了在FEP-AI和CB5T中进行个性建模的未来影响。

关键词：个性，控制论Big 5理论（CB5T），自由能原理和主动推理（FEP-AI）框架。

1 引言

随着人工智能模型的不断发展，我们发现自己面临着新的机遇和挑战。在利益方面，我们有可能让人工智能充当理解工具（例如计算精神病学）、助手（例如工业应用和劳动增强）甚至可能成为伴侣（例如老年护理）的潜力。在风险方面，我们有可能使这些系统学会具有潜在不希望的后果的意外行为模式。在接下来的内容中，我们将简要回顾一些关于个性建模的最近工作[1]，我们认为这可能对我们能够实现在人工智能日益成为我们生活中日益重要的一部分的未来中实现积极结果的能力产生深远的影响。

个性可以被看作是解释整体行为和认知的最相关特征的“现象学”描述。在动态系统术语中，我们可以将其视为“正常形式”描述，试图以最小的描述长度捕捉特定系统的最大细节[2]。在心理学领域，个性可以被视为个体性质的“本质”，以描述那些在各种情境中都稳定存在的更持久的特征。在控制论Big 5理论（CB5T）[3]中，德扬提出个性由“特征适应”（即，人们为应对不同类型情境而学到的策略）以及众所周知的（在进化中选择的）特质，如开放性、外向性、宜人性、责任心和神经质组成。CB5T进一步提出，在以控制论术语或以各种形式的反馈过程为基础的目标寻求系统中，最好理解这些特质。这种对个体和其他复杂自适应系统的功能理解暗示着与计算框架可能有潜在有益的交叉点，这是我们接下来要讨论的问题。

2 FEP-AI（自由能原理和主动推理框架）

自由能原理（FEP）将所有持久存在的系统理解为包含对它们通过智能行为维持其特定形式的条件的预测（生成）模型。个体生成模型实施的过程有很多种，从无意识的习惯，到情感充沛的反应性倾向，再到声明性知识和通过自传叙述实现的自我组织[4]，[5]。在个体具有可识别的特质和特征适应（即个性）的情况下，这些将代表支配动态的生成模型的参数值，这种稳定性可能是由于基因特定、表观遗传定型[6]或者是作为稳定的（在一定程度上）出现的平衡。不同的个性配置将对应于个体试图实现其目标的不同模型，包括保留核心身份要素的主要目标。

值得强调的是FEP的极广泛的适用范围，它与广义达尔文主义的范围一样广泛，可能完全同构[7]。不仅神经系统包含预测模型，而且整个有机体群体及其作为（先前选择的、目标导向的）进化适应性‘预测’的扩展表型也是如此。根据这一观点，神经系统仅仅是生成建模的一个（非常特殊的）案例，在这个案例中，不仅这些系统在其存在中就是模型，而且这些系统还具有作为控制器的模型，起着控制论的作用[8]–[10]。在这些方式中，主动推理提供了一个形式体系，可以将所有持久的动态系统理解为（自我）生成模型，基于关于在由第二定律统治的世界中持续存在的必要前提的第一原理。

这一普遍的贝叶斯/达尔文主义解释一直延伸到神经振荡[11]、习惯性反应[12]、一直到叙事自我，即通过讲述-做-实施来实现真实程度的故事[5]，[14]，[15]，包括关于通过这些叙述更有效地协作追求价值目标的共享叙述[16]，[17]。在主动推理中，人的所有特征都是根据它们相对于最小化各自自由能的相对能力而选择的，这被建议等同于最大化自体模型证据。具体来说，人的每个特征都代表着其自体动态，这在遥测地‘试图’最大化其自体模型证据方面是远程目标导向的。从这个角度来看，个性代表了在相互竞争和合作的拟种群之间相对稳定的进化博弈平衡[22]–[25]。

FEP范式内的工作在主动推理（AI）中产生了行为的规范模型，以描述最小化自由能的过程[26]。此外，深度强化学习方面的进展似乎正在收敛到FEP和主动推理（FEP-AI）框架中（有界）最优性所需的解决方案[27]，[28]。主动推理的概念建立在这样一个洞察之上，即知觉发生在塑造行动的适应性背景中，这些行动改变了可能的知觉模式。知觉不是被动感觉的结果，而是主动的寻找信息和解决模型不确定性的过程[29]–[31]，通常通过离散的行动作为一种假设检验[32]–[35]。 在FEP-AI框架中，知觉和行动都被理解为推理的一种形式，因为它们都代表了系统进行预测与感知比较的手段。系统减少预测误差的一种方式是通过更新内部模型，从而改变预测；这样，知觉被理解为一种关于感知原因的最佳猜测推理。然而，系统减少预测误差的另一种方式是通过行动来更新世界，从而通过改变可能的感知使其预测更加准确；这样，主动推理代表了一种通过最小化预测误差来实现不仅是知觉，还有自适应目标导向行为的手段。动力学被这两种策略（更新系统内部或外部状态）的调整程度，由梯度下降来确定，根据期望最小化总体自由能（即累积精度加权的预测误差）（图1）。正如我们将在下面更详细地描述的那样，这种感知和行动之间基础的（交织和协同作用的）二元性也可能对理解个性的基本方面产生影响（图2）。

Fig. 1. Perception and action as active inference.图1. 感知和行动作为主动推理。

Fig. 2. Internal and external attunement as active inference图2. 内在和外在协调作为主动推理。

在FEP-AI框架中，所有控制系统都必须最小化其生成模型的自由能。然而，为了有效实现这一目标，具有适应性的寻求目标的系统（如生物体）选择预期将来产生自由能最小化后果的行动。在这种预期自由能的制度下，模型准确性变为预期效用，即实现确保首选结果的外部价值的机会。此外，模型复杂性变为追求特定行动方案的不确定性和风险，即通过学习减少不确定性的内在价值的机会。优化外在价值涉及最小化首选系统-世界配置与观察之间的差异，这意味着实用地利用特定策略（即广义上包括认知的潜在行为的状态-动作映射集）。优化内在价值涉及通过寻找不确定性源追求模型的完善，从而充分利用作为减少学习中不确定性的内在价值的机会，从而探索关于适应性行动的假设空间的认知探索。这两种价值来源涉及开发/探索权衡，FEP-AI框架中通过选择根据估计最有效地最小化整体预期自由能的行动组合的政策来导航这种权衡。如果这些行动发生在关于其了解较少的新任务环境中，则在FEP-AI中，政策选择往往主要涉及优化信息增益的探索，然后在任务结构变得足够清晰以提供知情行动的情况下转向更具有开发性的行为。然而，如果行动未能像预期的那样成功，那么这将倾向于再次转向探索性行为，直到对情况有更好的“掌握”为止。通过精确校准的先验期望，受FEP-AI支配的代理将倾向于在进行目标导向行为时展现灵活平衡的好奇心水平。

最小化预期自由能的这两种双重策略意味着受FEP-AI支配的控制系统可能决定放弃追求目标，以改善模型精度，如果后者将导致预测误差的较大减少。这可能是这些模型的一个令人惊讶的含义，因为显然进化适应度更依赖于实现目标而不是增强感知图的准确性。与通过行动实现有价值目标相比，通过优化内部模型的完善将更受青睐，前提是该选择更有助于促进持续存在和随时间有效追求目标的更基本目标[40]。事实上，演化的控制系统将倾向于将稳定的目标追求和稳态作为存在的先决条件，而“内感推理”可能提供了一个潜在有用的案例示例，因为这些建模努力往往集中于避免与基本生命管理的前提条件过度风险有关的情况[41]。FEP-AI试图通过期望“适应性先验”使所有预测最终都与进化适应度紧密相连来解决这个优先问题[42]，因此我们期望从选择最小化与维持其存在的前提条件相关的自由能有关的系统中得到预测。

3 CB5T和控制变量的控制论；关注稳定性和可塑性

最近，Safron和DeYoung [1] 探讨了FEP-AI和人格模型之间的相似之处，特别是在与Cybernetic Big 5 Theory (CB5T) [3] 有关的方面。简而言之，CB5T将Big 5特质层次结构视为反映试图在目标方面最小化熵的系统的进化控制参数。这与FEP-AI非常相容。有趣的是，在Big 5特质层次结构之上，已经确定了两个更高阶的因子，即稳定性（守恒性、宜人性和（反向）神经质的共享方差）和可塑性（开放性和外向性的共享方差）。人们可能会倾向于分别映射到FEP-AI对外在/实用值和内在/认识价值的双重优化。然而，这种潜在的功能映射不应被过分强调，因为将外向性解释为指示“奖励敏感性”的控制论解释可以应用于在实用值或认识价值发挥作用的情况，这取决于特定个体发现什么是有益的（例如，具有高或低开放性特质的人分别更或较不程度地欣赏内在价值）。稳定性和可塑性之间的动态张力在无数系统中都有所观察，有趣的最近研究表明，文化变异的一个主要维度可能存在于与规范相关的“紧”或“松”态度的程度上（即，相对于释放实现义务价值的政策的预测误差的精度程度）[43]，[44]。在FEP-AI和主要的人格模型之间的整合（和收敛的支持）对计算精神病学有重要意义[2]，最近发现的Big 5特质层次结构的变异已经显示出与心理病理学的原则性分类（例如HiTOP）[45]的一致性（图3,4）。

Fig. 3. Stability and Plasticity in personality theory.Fig. 3. 在人格理论中的稳定性和可塑性。

Fig. 4. Stability and Plasticity as the respective protection and updating of policies for enaction

Fig. 4. 稳定性和可塑性分别是执行政策的保护和更新。

设置FEP-AI参数的生物物理过程的解释可能有助于为CB5T提供实质性的收敛支持，以及解释类似现象的其他手段。例如，多巴胺能功能的不同水平似乎对外向性和可能也对开放性/智力产生重大影响[46]，并被解释为在CB5T中朝向探索（或可塑性）的趋势。在FEP-AI中，强直多巴胺功能与精密度（一个逆温度参数）相关。对政策的信心（主观上的信心）和更确定性的行动选择；相反，阶段性多巴胺表明相对于预期自由能的变化估计和更新选择执行的不同政策的可能性，如奖励预测误差[47]–[50]，包括明显行为以及认知“行为”[51]。也就是说，调整为展现高多巴胺信号的神经系统可能更容易部署诸如离散的注意力转移和更为广泛的模拟计划等心理行为，这可能有助于更具探索性和灵活性的认知风格。虽然使用不同的概念框架，FEP-AI对多巴胺的解释与CB5T将多巴胺解释为“探索的神经调质剂”（DeYoung, 2013）和对个性可塑性的贡献者的解释具有强烈的对应性。此外，FEP-AI对阶段性多巴胺变化的解释，即更新执行策略的可能性，与CB5T对可塑性的解释具有明显的相似之处，后者是一种在面对障碍和相关心理熵时更新实现目标策略的能力[52]，[53]。

虽然CB5T和FEP-AI都将多巴胺与可能更具探索性的行为和认知风格以及可能更外向和开放的个性联系在一起，但它们也强调了从不同的神经调质模式中获得的功能后果的上下文敏感性。在两个框架中，基于行动选择由在不同时间尺度上展开的具有多个（可能嵌套的）目标的控制层次结构来看，过于简单的探索/开发区别是有问题的（DeYoung，2015; Pezullo，Rigoli，Friston，2018）。例如，对于目标实现的信念非常有信心的人可能选择利用特定的机会，或者如果他们预测该行动方案可能实现更大的价值，他们可能冒险进入未知领域并探索新的领域。

在整体层次结构中的目标及其相关表示的相对位置在许多方面都涉及到我们通常所说的“个性”的核心。也就是说，我们可能期望层次较高（或更深）的表示在某种程度上受到特定事件的干扰的保护，因为它们更有机会（或多样化）通过层次较低的模式最小化预测误差。这与远离主要模态的系统与神经调质价值信号紧密相连的方式是一致的，这些价值信号对于来自相对抽象的行动-结果关联的整体意外性最为敏感（例如通过执行特定模式的目标的达成）。如果个性被理解为总结目标寻求系统最有影响力和持久的特征的方式，那么也许我们不应该对观察到个性通常受到对层次较高（或更深）的系统的干扰最强烈的情况感到太惊讶，例如腹侧前额叶皮质（参见伪心理病现象和菲尼亚斯·盖奇（Phineas Gage）的案例（在铁路施工事故中，一根钢杆穿过他的头）后变成“不再是盖奇”）[54]。

目标的分层组织在多个方面至关重要。首先，整个世界往往具有分层结构，较小的（演化较快的）事物倾向于嵌套在较大的（演化较慢的）事物中。因此，对这些不同尺度实体/事件的反应性倾向具有类似的组织方式可能具有优势（参见通过局部梯度、局部敏感哈希等进行优化）。通过扩展序列实现复杂目标的达成必然需要更大（可能更慢演化）的整合区域，其中各个子目标之间需要一致的协调，以实现它们可能有助于（或妨碍）的更广泛目标的实现[55]。责任心是与目标层次结构的一致管理最相关的个性特征，并且似乎只能在神经系统更为复杂的动物中可靠地识别[56]。推测性地说，责任心（作为控制系统的特征）的性质可能提供了意识作为知识以及良知作为明智/一体化的自我认知和自我治理的性格美德之间的概念联系[57]–[59]。也就是说，这些词的共同词源可能还指向它们在人格在像我们这样的复杂认知系统中被引导的过程中的重叠功能和潜在的相互依赖[60]。

虽然脑的5-羟色胺系统的功能意义在FEP-AI中尚未得到深入探讨，但仍然可以找到引人注目的相似之处。在CB5T中，中等水平的5-羟色胺信号将倾向于对应于稳定性，即对现有策略免受干扰的保护。这些功能可能在进化过程中得到了保留，正如可以在秀丽隐杆线虫的运动方式以及单细胞有机体在遇到和消耗富含养分的食物时减少定向运动的观察中观察到的那样（色氨酸 → 5-羟色胺）[61]，[62]。通过这种方式，5-羟色胺作为饱食感——可能还有安全感和成功社交性——促进信号的功能将为多巴胺去抑制行动提供一种对抗力，与在从下丘脑核到额叶拟态动力学的多个层次上观察到的对手过程动态一致[63]–[66]。在FEP-AI中，生理水平的5-羟色胺（可能导致5-HT1a相对于5-HT2a受体更大的占据）与对内部状态的更高精度相关，其与内部环境和生活管理的(allostatic)连接将与CB5T中的稳定性的关联一致。值得注意的是，在计算精神病学（以及动物行为学）方面，这些是被SSRI用于治疗抑郁和焦虑症的神经递质系统（还用于社会等级中的支配地位）。然而，极端水平的5-羟色胺信号与“放松”信念和更大的探索[67]–[69]有关。虽然CB5T先前强调了5-羟色胺在调节稳定性中的潜在作用，但这一系统在增强可塑性方面的潜在作用是未来研究的有希望的方向。

对于刺激5-HT2a受体以提供“如何改变思维”的手段以及通过改变状态实现“改变特质”的效果越来越感兴趣[70]。作用于这些通路的化合物已被描述为具有各种启示性的术语，包括致幻剂（“意识表现”和“更高层次的意识状态”），幻觉剂（知觉作为推断），灵源剂（自我实现和超个人心理学与灵性），甚至是非经典致幻剂的“entactogens”（从创伤中康复和修复过度坎坷/断裂——因此不可导航——自由能量地貌）[72]。开放性是最常与致幻心理疗法下潜在改变相关的特质[73]–[75]，但很少有研究涉及到Big 5方面（在这些方面大的效应大小最有可能被观察到）[76]，[77]，也没有研究有针对性的干预可能带来什么样的个性变化。关于具体机制，值得注意的是5-HT2a受体似乎特别集中在深层联合皮层[78]，这与我们的建议一致，即层次更高的表征可能特别与稳定个性相关。通过改变皮质层次结构的上层功能来改变人的可能性已经以“枢纽坍塌”和使用致幻剂和冥想状态导致的人格混乱[79]–[83]，拱形结构的控制系统的网络化特性允许“变态负荷”机制灵活调整功能深度[55]，以及预测处理和其他机器学习原理[67]，[68]，[84]，[85]形式引人入胜地被描述过。

4 关于人格方面和社会权力的假设

发现每个大五人格领域下都有两个（仅有两个）方面，可能部分可解释为主动推理中的一个基本变异轴：即通过感知（即更新内部模型）或通过行动（即更新系统-世界状态）来最小化预测误差的程度。这可能导致有关对贡献于个性变异的生物计算过程的新的可测试的假设。个性是否会受到相对调整预测（包括行动）或预测误差（即感官观察）在不同的推理控制层次中的潜在倾向的影响呢？

例如，增加对内感觉精度的增益与社会权力相关[86]，可能对内向注意力（由于不必不断地关注外部以监视环境的相关性）有更多的机会。如果允许预测误差上升到层次更高（前部）的岛叶，那么体感信息可能更有可能伴随有意识的访问，并且可能通过与前顶顶控制层次耦合（通过预测性地执行一系列本体感觉姿势）来抑制行动。任何激动中脑边缘多巴胺系统的神经调节剂或激素因子可能进一步增加将内感知感知与动作相连接的可能性，通过降低纹状体中的抑制阈值并增加相关网络之间的耦合[87]。在现象学和功能意义上，这可能对通过行动行使代理权的意愿和赋权的经验相对应[15]，[88]，[89]。

考虑到性别/性别角色与权力（或支配）差异一起在不同层次（在系统发育、文化和个体发育层面）上演化，这可能有助于解释在方面层面观察到的男女差异尤为显著的效应[77]。类似的差异可能在其他社会权力差异方面观察到，例如种族或阶级，而在所有情况下，可能有助于解释内化或外化在心理病理学中的差异，前者更可能导致自主调节的失调，如心脏和胃肠功能障碍观察到的[90]，[91]，但后者更可能导致事故倾向——或者说是大胆/不太可能的，但潜在的伟大和英雄般的成就[92]，[93]。

然而，鉴于文化演变的潜在迅速速度，我们可能不会期望个体或群体中的方面级人格特征与性别/种族/阶级的经验关联随时间保持不变[94]–[96]。

5 心理整合、正念和幸福感

FEP-AI和CB5T都强调了为实现复杂目标而进行分层组织的重要性。然而，对复杂/远距目标的稳定追求可能取决于层次主动推理的完整性[97]。这可能进一步要求有能力下调（主要是内感知的）预测误差（即情感自我调节），从而在优先考虑策略并且不会由于近距离挫折而破坏目标层次的完整性方面具有灵活性[56]。这种灵活的优先平衡可能具有横断性的相关性[98]，[99]，在理论上促进了一种目标层次变得更加优雅/实现可能的反思均衡的形成。随着时间的推移，这种平衡的调整和个人发展甚至可能有助于形成自我实现心理学家所讨论的整合和个体化的一种形式[3]。尽管正念在人格心理学中的确切性质尚不清楚[100]，但这种状态（以及可能是一种特质）可能对进行跨时期一致的主动推理所需的情感自我调节是最有效的手段之一[24]，[101]。缺乏这种内部导航技能，我们可能会预期对预测误差的过度反应，这可能在人格特征的层面上导致神经质升高。

理论上，培养与正念相关的认知（和情感）灵活性的困难可能潜在地解释了无法始终观察到一般人格因子（GFP）[102]–[105]的失败。例如，GFP可能未能可靠地观察到的部分原因可能是由于稳定性和可塑性之间存在相反的关系。然而，类似于主动推理中认知和实用价值之间的关系，这两个目标之间的协同应该是可能的（并且在规范上是必需的）。正念可能使人们更容易（并灵活地）实现这种动态平衡，甚至可能使个体更稳健地占据“混沌边缘”状态，其中稳定性和可塑性呈正相关。更重要的是，正念可以通过元意识促进更大的控制[106]，从而使人能够更有效地占据相互作用而不会落入一个或另一个吸引子的相位空间区域。从这个控制论的观点来看，正念可以被认为是在自适应/灵活地拉伸相位空间区域的过程中[107]。

在理论上，成功接近这种最优性前沿的系统可能表现出自组织临界性的特征[108]。秩序与混沌之间的动态平衡是临界吸引子治理的特征，这是自适应系统的基本特性[109]，也是一个有前途的研究方向。人格变量和神经测量的临界性的假定度量之间可能存在关系，如网络灵活性[110]、临界减速[108]、分形维度[111]和幂律分布[112]。这些临界性度量可能与可塑性呈正相关，反映了一种自适应重组的潜在潜力。[在控制了可塑性后，临界性和稳定性之间的关系可能最好由一个倒U函数解释。]这些临界性度量、个性和有效地最小化自由能的相关性（以学习能力或正面情感[113]–[116]为指标）可能提供令人信服的证据，即“边缘混沌”动态可能允许在多个领域实现最优性，包括个体[99]，[117]（图5,6）。

Fig. 5. Dynamic balance of Stability and Plasticity as cybernetic universality class.Fig.

5. 稳定性和可塑性的动态平衡作为控制系统普适类。

Fig.6. Dynamic balancing of Stability and Plasticity and enhanced adaptivity via(cohesive)psychological flexibility‍‍‍‍

图6. 稳定性和可塑性的动态平衡以及通过（紧密的）心理灵活性增强适应性。

结论

在回顾FEP-AI和CB5T之间交集的要点时，我们的目的是提供有关个性建模可能性的一般印象。关于这个主题的更多详细信息，请参阅我们最近一章的书 [1]。个性科学与FEP-AI的潜在交集是一个复杂而深刻的主题，因此我们认为前面的讨论更多是对未来工作潜在方向的建议，而不是对规范交叉映射的明确陈述。具体而言，我们认为研究以下假设可能是有益的：

• 稳定性和个性的元特质可以在各个尺度上成功应用于控制系统。

• 这些元特质可能与神经调质剂（理解为各种机器学习参数），如多巴胺和5-羟色胺，有有益的功能映射。

• 在每个大五性格领域下方的两个方面的识别可能暗示了具有功能意义的对手过程或者在有机体/主体生命周期方面的政策选择的对立模式。

• 个性方面和通过更新内部模型或通过感知或明示执行更新外部世界状态来趋向于最小化自由能量之间可能存在有益的对应关系。

• 了解自我实现可能有助于阐明我们这样的系统总体上“预测”什么的问题，对于多层次的进化理论和心理健康心理学都有意义。

• FEP-AI等计算框架可能有助于解释主要个性特征及其神经生理和行为相关性的一些控制系统重要性；例如，神经质作为对整体控制系统熵的敏感性，前扣带回路和杏仁核等中枢控制结构可能充当预期自由能量整合器，同时也可能是干预临床状况的潜在来源（参见抑郁症深部脑刺激的部位）。

我们选择在这里讨论这项工作，因为我们正处于实施受这些理论启发的一项重大研究计划的早期阶段，在这个计划中，我们将演示如何使AI代理的稳定亲社会的个性（作为偏好）通过迭代选择政策和更新先验而出现 [118]。该项目最初将专注于为FEP-AI社区和个性建模者开发架构和综合模拟环境。然而，我们将在未来几年扩展这个研究计划，以开发越来越强大和与人类更加一致的代理。因此，能够精确地对这些代理的个性进行建模最终可能不仅仅是学术上的重要性问题。