元意识和注意力控制建模
Towards a computational phenomenology of mental action: modelling meta-awareness and attentional control with deep parametric active inference
Abstract
元认知是指明确注意到当前意识内容的能力，被确定为成功控制认知状态的关键组成部分，例如有意识地引导注意力。本文提出了一个形式化的元认知和注意力控制模型，使用分层主动推理来实现。为此，我们将心理行为视为对更高层次认知状态的策略选择，并添加了一个额外的分层级别，用于模拟调节对观察和隐藏认知状态之间映射的预期置信度（精度）的元认知状态。我们模拟了心猿意乱及其在涉及对感知对象进行持续选择性注意力的任务中的调节。这为一个推理架构提供了一个计算案例研究，使得这些人类现象学的核心组成部分得以出现，即能够访问和控制认知状态的能力。我们提出这种方法可以推广到其他认知状态，因此，本文提供了发展计算心灵行为学和更广泛地监控和控制自己认知状态能力的第一步。这项工作的未来步骤将专注于将模型与定性、行为和神经数据相匹配。
关键词：主动推理；元认知；不透明性；透明性；自由能原理；专注注意力；神经现象学；心猿意乱；正念
Introduction
Towards a scientific study of mental action对心理行为进行科学研究
通过心理行为对认知状态的控制是人类现象学的一个特征。认知控制的基本机制、效应和（失）功能与认知、临床和理论神经科学密切相关。例如，注意力状态的控制被认为是几种精神疾病的核心。即使超出了对注意力缺陷障碍的明显相关性，最近的研究表明，注意力控制在精神分裂症（Brown等人，2013）及其相关的解人格障碍现象（Ciaunica等人，2021）、抑郁症（Rock等人，2014）以及自闭症谱系障碍（Van de Cruys等人，2014；Kiverstein等人，2020）的发病机制中起着重要作用。这些涉及特定而微妙的功能障碍，影响知觉、思维和秩序状态，以及对相关过程的故障控制。这些功能障碍属于更高阶，因为它们统治着对自己的感知的信心归因（Palmer等人，2017；Lysaker等人，2020）。
在这个背景下，我们将元意识定义为‘明确’注意到一个意识片段的当前内容的能力。【元意识的定义是元认知和正念研究中正在进行的讨论。例如，Dunne等人（2019）最近辩称，元意识可以是非命题性和连续性的。这个模型有能力解释这样的微妙之处。对于我们的目的，如文中所讨论的，我们将元意识状态定义为系统的那些（第三阶）关于，和使得（第二阶）注意力状态不透明的状态。因此，它们的功能类似于注意力状态，后者使得（第一阶）感知状态不透明。因此，这个计算定义当前不需要形式为‘我正在注意阅读这段文字’的命题性自我反思。】元意识的典型例子是意识到心猿意乱的片段（Schooler等人，2011）。一般来说，元意识的能力为主体提供关于经验对象和经验本身的知识，这些知识可以用于增强对心理过程的控制或修订信念。心理行为，反过来，是指目标导向的内部行为，不一定对外部环境产生直接影响（例如通过肌肉行动）。心理行为的范例包括隐性注意力。心理行为按照其所有权、目标导向性、主观努力感以及感知的主体性和心理自我控制（Metzinger和Wiese，2017）的现象学进行分类。
本文的目标有三个方面：（i）明确建立元认知模型，（ii）解释元认知对认知控制的计算结果，以及（iii）提供心理（隐性）行动的计算解释。从形式上讲，关于这些认知过程的关键一点是它们是‘关于’其他类似过程的。例如，注意力状态和过程的部署和控制基本上是一种高层次能力：这些状态和过程监控和调节其他通常是低层次的感知状态。而第三阶、更高层次的过程又监督着这些注意力过程：我们可以意识到我们的注意力被吸引，然后刻意决定将注意力集中在其他地方。因此，有效的自我调节注意力似乎取决于能够访问、评估和控制这些注意力过程本身的质量，就像注意力过程是必要的去有意识地访问、评估和控制低层次的感知状态一样。
从计算角度来看，有效的自我调节中信心和可靠性的中心位置反映了隐性信念的‘精度’（或逆方差）的关键作用（即概率性或后验贝叶斯信念，描述了概率分布在某些潜在数量上；这些信念是次个人的；然而，本文所追求的论点是，在某些情况下，关于贝叶斯信念的贝叶斯信念可以成为命题性的），以及它们是如何估计、优化和控制的（Hesp等人，2020年，2021年）。简而言之，精度量化了我们对信念的信心；比如，我们对于我们对世界状态的了解、对其与我们的感知观察之间关系的信心，或者对这些状态随时间变化的信心。类比于物理行动，‘心理’（或‘隐性’）行动在于部署和调整这些关键数量，而不一定需要这些隐性行动有明确的行为对应物（Limanowski和Friston，2018年，2020年）。计算精神病学这一新兴领域主要是关于解读这些与精度相关的过程，阐明它们的生理实现（Lecaignard等人，2020年），并建立它们与特定临床特征的因果关系（Friston等人，2017a年）。
隐性或心理行动，如刚刚定义的那样，也涉及到神经科学的其他领域。在一些传统中，比如正念冥想，训练的目标之一是使认知过程可访问，从而可控。从2000年代初以来，冥想研究领域，有时被称为冥想神经科学，已经迅速发展（Eberth和Sedlmeier，2012年；Sedlmeier等人，2012年；Tang等人，2015年；Fox等人，2016年）。这些文献增进了我们对元认知和认知控制之间关系的理解，尤其是关于注意力过程。这些过程的机制模型开始出现（Farb等人，2015年；Jamieson，2016年；Manjaly和Iglesias，2020年；Lutz等人，2019年；Pagnoni，2019年；Laukkonen和Slagter，2021年）。与此项工作相辅相成的是，本文的贡献是一个从第一（贝叶斯或变分）原则推导出的这些过程的正式和计算架构，明确解释了元认知和注意力之间的关系。
现象学、临床心理学和认知科学中存在几种概念框架来描述这种关系。为了本文的目的，我们专注于‘调节性’认知控制策略，即一个主体通过将状态视为认知过程来控制他们的心理状态（与保持专注于状态内容的调节策略相对）。这种调节方式在与正念相关的干预中是中心的，患者学会改变他们与思维和情绪的关系，而不是改变思维和情绪本身。因此，这种调节解释了正念冥想对情绪障碍的积极影响（Wetherell等人，2017年；Segal和Teasdale，2018年）。随后产生的关于心理状态的元视角被称为现象学还原（Varela，1996年）、去中心化（Bernstein等人，2015年）、认知脱钩（Fletcher和Hayes，2005年）、正念注意（Papies等人，2012年）、去实体化（Lutz等人，2015年）或不透明化（Metzinger，2003年）。与此立场相对应的是，自我沉浸于心灵内容的状态被称为认知融合（Fletcher和Hayes，2005年）、实体化（Lutz等人，2015年）、吸收（Tellegen和Atkinson，1974年）、体验融合（Dahl等人，2015年）、主观现实主义（Lebois等人，2015年）或透明化（Metzinger，2003年）。
为了操作化元认知的这一方面，我们将遵循主体自我模型理论中所发现的区别（Metzinger，2004年），因为它已经在之前的处理中直接影响了当前工作（Limanowski和Friston，2018年），即不透明性和透明性之间的区别。
Target phenomenology: opacity and transparency目标现象学：不透明度和透明度
系统访问其自身某些状态的能力在‘不透明性’与‘透明性’的框架下进行了理论化（Metzinger，2003年）。根据这个框架，人类的心理状态可以分为两种：那些系统本身可以访问的，被标记为‘不透明’（即可感知的）；而那些系统本身无法访问的，被标记为‘透明’（即不可感知的）。一些心理过程的功能仅在于使世界的某些方面变得可感知。我们并不‘本质上’意识到它们，而是我们意识到它们所提供的内容：这些认知过程是‘透明’的，就像玻璃窗户让我们看到外面的东西一样。然而，其他一些过程使得这些认知构造过程本身可以被系统本身访问。这第二组过程是关于心智的其他状态，它们提供了对这些状态的访问，作为现在提供给进一步处理的新数据源。这些过程类似于双筒望远镜上的滚轮，它有一个位置状态，用户可以控制它，从而可以理解和控制感官输入的精度。
认为透明状态和过程是更常见的一种，我们与大多数其他动物分享这种状态。它们介导着主体对感官状态背后的潜在原因，对世界中呈现出的事物的访问。基本思想是，我们意识不到许多我们的心理状态（透明的状态）‘作为’心理状态，即明确地理解它们是构建性认知过程的结果。相反，这些过程使我们能够访问一些内容，这些内容并不被经验为构建或心理的。因此，Metzinger认为一个状态是透明的，仅当构造或构成它的过程通过‘内省注意力’（Metzinger，2003年）对系统不可用时。例如，做梦的过程是一个透明状态，直到做梦者变得清醒，即意识到他们正在做梦的事实，此时做梦的过程变得不透明（即可感知为可以被控制的过程）（Konkoly等人，2021年）。
从主体自我模型理论中的概念推广，我们可以说某些状态和过程部分地是‘不透明的’，当认知主体（i）通常透明地使用它们与在世界或心灵中呈现为主观真实的事物、事件和地点进行交互，但（ii）也能够向自己表示这些状态或‘访问’它们，作为进一步推理的数据。当条件（ii）不成立时，它们完全‘透明’。某些认知过程，尤其是注意力过程，与不透明性的标志性故意特征相关，因为它们使其他状态变得不透明。（请注意，这些状态本身‘不一定’是不透明的；正如我们将在下面看到的那样，要使它们可访问需要进一步的一组过程。）注意力状态，例如，是‘关于’感知状态的——它们是第二阶状态，就像精度是关于第一阶参数（它们的均值）的第二阶参数一样。换句话说，它们是关于推理过程的结果（Parr和Friston，2017b年）。再者，考虑情绪状态和过程，它们关于的是内感和外感状态（Clark等人，2018年；Allen等人，2019年；Hesp等人，2021年）。在所有这些情况下，参与注意力和情感的状态和过程不仅隐式地指导行为，而且它们可以被理解为这样，就像我们内省地反思和利用元认知一样。这种认知不透明性的架构被认为是支持人类认知能力的一般基础。
本文在上述以认知不透明性（即元认知）和心理行动（例如注意力控制）定义的认知控制方面迈出了一步。这将采取‘计算（神经）现象学’的形式来描述所讨论的过程。神经现象学是对意识经验进行自然主义研究的一种有影响力的方法（Varela，1997年；Lutz，2002年；Ramstead，2015年）。计算现象学（Ramstead等人，2021年）旨在利用计算建模的进展，通过提供一个推理过程的模型来形式化现象学描述揭示的生活体验方面——例如身体代理人移动的生活经验的经典现象学描述（Merleau-Ponty，1945年）或对时间内部意识的拥有（Husserl，1927年）——从而使目标现象学得以如此体验（例如，对内部时间意识的这种描述，参见Varela，1997年；Grush，2005年；Wiese，2017年）。
Computational modelling of mental action
我们基于最近在计算建模方面的进展，这些进展揭示了支撑具身有机体感知和行为的推理过程。这些技术进步使得实现自我反思、分层结构化的推理成为可能，并模拟可与认知不透明性和执行隐性（心理）行为，如注意力控制，形式上相关联的行为动态。
这些进展的根源是一种生物学上可行的、神经认知和行为建模框架，称为‘主动推断’（Friston等人，2016年；Friston，2019年）。主动推断为我们提供了一种贝叶斯力学，即知识驱动的行动和主动感知的力学，它从第一原则解释了自主代理如何在不断变化的环境中取得成功。主动推断源于更古老、更熟悉的大脑贝叶斯理论，如贝叶斯大脑假说（Knill和Pouget，2004年）和预测编码（Rao和Ballard，1999年；Friston，2005年，2008年；Bastos等人，2012年）。它将感知、学习和行动本质上视为同一个游戏——即收集支持代理存在的模型的证据（Friston，2013年；Ramstead等人，2018年，2019a年）。在这个意义上，主动推断将生活和认知过程描绘为自我实现的预言，这些过程为代理体现和实现的隐含（生成性）模型收集证据（Ramstead等人，2019b年）。
最近已经开发了形式化方法来研究元意识能力，利用了‘参数深度主动推断’（Hesp等人，2021年）。参数深度是认知体系结构的一种属性，即该体系结构包括嵌套的信念或知识结构，即对信念和推理过程的信念，这些推理过程操作（或以其作为输入）其他推理过程的结果，作为进一步处理的数据。通过构建，这种认知体系结构能够实现对自我状态和元意识的一种基本形式的访问。这是因为具有表现参数深度的内部结构（生成模型）赋予了代理高层状态，使得低层推理的结果（例如后验状态和精度估计）可用作进一步的自我推理的数据。这使得代理能够访问和控制自身的关键方面（Limanowski和Friston，2018年）。
目前构建的参数深度主动推断仅限于‘隐式’的高阶认知访问和控制形式；例如，它能够建模引导感知推理和行动流程的注意力和情感‘过程’的部署（Parr和Friston，2017b年），但尚不能建模代理对自己的注意力‘状态’的访问、评估和控制。在这里，我们提出了对主动推断的扩展，以克服这一限制。为此，本文将参数深度主动推断框架扩展到考虑代理的‘显式’元意识和心理行动能力。这一扩展赋予了代理的生成模型一个深层的三元层次结构（见‘方法’部分）：策略选择（即关于行动的自我实现信念的形成）可以按层次化方式进行构建，从而使我们能够构建代理的元意识模型，并对其自身生成模型的一些方面进行控制（即驱动认知状态转换的更高层策略，这些策略影响下层的精度）。
这种方法与现有的关于注意力控制（Berk等人，2016年，2019年）或对内部状态的认识（Smith等人，2019a，b）的主动推断建模在几个关键方面存在不同。关键之处在于，这里所激发的‘深度’并不是实验者决定对时间深度（Friston等人，2017c；Pezzulo等人，2018年；Parr等人，2020年）或概念深度（Smith等人，2019b；Heins等人，2020年）进行建模，甚至不是为了建模注意力和元意识的期望现象学。相反，分层结构来自于决定赋予模型‘参数深度’，即精度依赖的状态推理。
然后，注意力状态（和元意识状态）自然而然地成为更高层次的状态因素，这些状态因素调节下面一级的观测精度（见‘方法’部分）。这与将注意力状态假设为同一级别上的另一个状态因素（Berk等人，2016年）或作为目标依赖的精度调节（Berk等人，2019年）形成对比。这里的重点是元意识和注意力控制之间的相互作用，我们并没有明确处理选择性注意力在认识觅食中的作用问题。
最后，这里的一个新发展是应用于参数化较低层次的状态的层次化策略选择公式。这类似于（Whyte和Smith，2020年）提出的两层模型，不同之处在于，这里的层次纯粹是参数化的（即更高层次的状态因素只是调节下一级别精度的因素），而且我们将此方案扩展到第三个元意识层面。这允许制定不同类别的策略，这些策略调节特定参数级别上的转变（例如，通过心理行为进行注意力转移）。这在先前关于注意力作为可能性精度（Parr和Friston，2017a，b；Parr等人，2018年）和注意力控制作为精度部署（Feldman和Friston，2010年；Brown等人，2011年；Kanai等人，2015年）的工作基础上，提供了一种可以泛化的计算支撑，用于调节精度信念的策略。
在这里所处理的持续注意力控制的例子中，意识到自己的注意力集中在哪里，并快速识别注意力转移（即分心），然后相应地重新校准注意力过程变得至关重要。我们证明，在一个专注注意力的任务中，具有参数深度生成模型的agent表现出长期与专注注意力和正念冥想实践相关的注意力焦点和心绪漫游的现象循环。此外，这种深度架构使这些agent能够报告他们的高阶观察，例如他们意识到自己的注意力集中在哪里的程度。这个对主动推断框架的扩展使得可以合理地模拟元认知和认知控制中的过程。更一般地说，它提供了一个从第一原理推导出的、符合生物学的理解，即人类现象学的核心方面，即对认知状态的元认知和对注意力的显式控制所需的计算架构。
总之，在本文中，我们论证了：(i) 意识的心理行为是建立在对认知状态的高层次访问之上的；(ii) 部分不透明和完全透明的状态和过程的区别可以通过对元认知及其影响的深度主动推断进行形式化处理；(iii) 了解这种推理架构构成了对一般认知控制的形式化、计算神经现象学解释的第一步。本文的其余部分结构如下。在回顾形成我们提案的方法和理论支柱的主动推断框架之后，我们将转向原则性的数值证明。最后，我们将讨论我们的模型对意识、注意力和主动推断下的心理行为研究的影响。
Methods方法
我们采用的方法学基于一个生成模型，该模型捕捉了所感兴趣现象所需的推理架构；在本例中，是不透明与透明的区别以及随之而来的监控和控制形式。在明确了这个模型之后，在接下来的部分中，我们将在计算模拟中实现这个模型，以重现目标行为。通过研究专注注意力和心绪漫游的出现动态，我们阐述了元认知和认知控制。我们将看到，具有这种推理架构的模拟agent有机地复制了相关的现象学。
Introduction to the active inference formulation主动推理公式简介
本文提出的关键技术创新是基于Hesp等人（2021年）的工作对主动推理框架的扩展。它建立在先前的工作之上，该工作表明，有意关注一组状态，并因此使它们不透明，对应于对第二阶推理的自上而下部署，即关于信心或精度的推理（Limanowski和Friston，2018年；2020年）。
主动推理模型将感知、学习和行为描述为受单一命令的支配-最小化变分自由能（Ramstead等人，2018年；Friston，2019年）。这种变分自由能是一个信息论构造，通常量化观察和期望数据之间的差异，在生成这些数据的过程的概率模型下（生成模型）。简而言之，它通过量化数据为模型提供的证据量（技术上，提供上界或逼近），来评估数据是如何生成的每个模型的概率。这个度量或分数是变分自由能的补集，基于找到与最小自由能相关联的模型的推理被称为变分推理。因此，最小化变分自由能等同于最大化贝叶斯模型证据（Friston等人，2010年；Friston，2019年）或自证（Hohwy，2016年）。
变分推理最初是在统计力学中发展起来的，以将难以处理的推理问题转换为更容易的优化问题，其中与推断数据的潜在原因相关的困难问题被转换为一个更容易的优化问题，即选择与最小自由能相关联的模型（Feynman，1972年）。在当前的背景下，我们将大脑视为一个试图通过对感觉数据进行仔细采样（例如，视觉触摸）然后选择具有最大证据的感知假设的经验科学家（Gregory，1980年）。
Generative models生成模型
在这个背景下，变分自由能量量化了观察结果（即生物体的感觉状态）与根据它们的感觉数据产生的统计（生成）模型下预测的结果之间的差异，这些模型被认为是在大脑的网络中实现的。
生成模型之所以被称为生成模型，是因为它们是“世界中的生成过程”的模型，这些生成过程导致（或产生）我们的感觉数据（Friston等人，2016年）。生成过程通常使用运动方程来具体说明，这些方程捕捉了环境如何生成观察结果的动态。当然，主动推理的代理本身无法访问生成过程，必须部署推理和行动来估计其结构，但在实践中，当模拟这些动态时，我们通常会写出“真实”的过程，如下所示。这里考虑的生成模型称为马尔可夫决策过程，这是一个常用的适用于离散状态空间的方案。
图1. 显示了一种基本的生成模型，用于逐时感知的概率图模型。该图描述了一种简单的感知生成模型。这里的推理反演了从原因到结果的可能性映射，P(o | s)，使用关于状态（D）和感觉数据（o）的先验信念，以获取（或近似）最可能的状态P(s | o)。在这里，贝叶斯信念用粗体表示，横线符号表示后验信念，σ是softmax函数（返回归一化的概率分布），δ是Kronecker δ函数（对于观察到的结果返回1，对于所有未观察到的结果返回0）。o用于表示对观察结果的预测后验，o表示实际观察结果。有关所示的潜在状态信念更新方程的推导，请参阅Friston等人（2016年，附录A）。[请注意，在主动推理文献中的惯例中，“点”符号用于表示对矩阵A（形状为(m，n)）和一组n个概率x进行反向矩阵乘法和重新归一化的操作，即A·x = y，其中y是一组m个概率，使得Ay = x。请参阅Friston等人（2017c）]。图形呈现是根据Hesp等人（2021年）研究中给出的模板Figure 1a进行调整的。
图1展示了用于解释感知的最基本的生成模型。这个基本的生成模型量化了观察结果（表示为o）与导致它们的潜在或隐藏状态（s）之间的关系。在这里，这种关系由一个称为A的可能性映射来捕捉，它编码了有关世界状态如何与它们生成的观察结果相关的信念（即“假设某个隐藏状态s是真实的情况下，观察到o的概率是多少？”）。技术上，这个可能性映射被实现为一个矩阵（A），指定了在给定一个隐藏状态的情况下观察到特定结果的概率；形式上，这被表示为P(o| s)。而初始状态向量D则指定了独立于任何观察结果的情况下世界最可能的状态的信念，形式上为P(s)：这些被称为先验（贝叶斯）信念。
在这个背景下，变分推理从系统可以访问的量（即它的观察结果o，先验信念P(s)，以及关于它的观察结果是如何被世界状态所引起的信念P(o| s)）转移到了它试图推断的量，即它的感知的最可能的原因P(s| o)。我们总是可以给上述每个参数关联一些置信度水平。如前所述，精度被定义为某个分布的“逆方差”。精度也被称为置信度，它捕捉了相关参数中所包含的信息可靠程度。值得注意的是，精度已经将一定程度的参数深度引入了生成模型中，因为它是一个二阶统计量：它是关于其他信念的信念，即它们的可靠程度。
在主动推理中，“注意力过程”被表述为对可能性映射（即矩阵A）的精度（这里表示为γA）或对可能性映射的置信度的调节（Parr和Friston，2017b）。由于它们基于二阶统计量（即“精度”），在这个框架中，注意力过程被视为隐式实现了一种形式的认知控制。直观地，我们可以看到为什么通过精度调节A对应于注意力过程：A上的精度代表了代理人相信他们的观察结果“准确映射到”隐藏状态的程度。专注于某些刺激会增加基于特定数据或观察所做推理的相对权重或增益。例如，通过更加关注一个模糊的声音，代理人对确定其来源位置的信心大于在未被关注时首次听到声音时的信心。将可用数据与数据可靠性的估计相结合，以便仲裁其对整体推理过程的影响（相对于先验信念），被称为“精度加权或精度控制”。在主动推理中，这是注意力调节感知的候选机制（见图2）。
图2. 显示了具有精度的感知基本生成模型的贝叶斯图。精度项γA在似然映射A上是从具有逆温度参数βA的伽马分布中抽样的。通过将A的第i行和第j列中的每个元素的γA幂进行指数化，并进行归一化，得到精度加权的似然映射¯A（参见Parr等人，2018）。有关所示精度信念更新方程的推导，请参阅Friston和Parr（2017年，附录A.2）。图形呈现是根据Hesp等人（2021年）研究中提供的模板进行调整的。
这个基本的生成模型只能对瞬时的后验状态进行估计（即感知）：它并没有编码知识，使其用户能够对未来进行预测。然而，主动推理模型并不局限于从瞬间到瞬间展开的过程。事实上，这些模型已经被扩展以解释对状态的时间动态的知识，通过引入“关于状态转换的信念”，表示为B。这些编码了在某个时间步τ + 1处处于某个状态s2的概率，假设在时间步τ处系统处于状态s1，形式上为P(s2 | s1)。有了这样的马尔可夫模型，一个代理人可以有效地推断未来的状态。
将模型配备有关状态转换的信念，打开了一个全新的推理领域，即通过选择行动来控制观察。因此，主动推理是一个“策略选择”的游戏。策略π被定义为关于当前正在进行的行动的一组信念。策略是必要的，因为在主动推理中，代理人必须积极地推断他们正在进行的行动，假设他们正在做的事情可能会最小化变分自由能。策略选择是通过更新关于状态转换的信念来实现的，现在这些信念受到行动结果的影响。直观地说，这种对行动的隐含观点是因为代理人不能无节制地或直接地访问他们正在进行的行动。相反，他们只能访问这些行动的感觉后果，因此，他们必须推断他们正在做什么，考虑到他们的行动先验和感觉数据。因此，策略实际上就是一系列的状态转换（B矩阵），而策略选择意味着选择与最小期望自由能（G）相关联的B矩阵序列。因此，顾名思义，主动推理将行动视为一种形式的（变分）推理，作为一个自我实现的预言。
还有两个值得注意的额外参数是先验偏好映射（或C矩阵），它指定了关于感觉结果的先验信念，以及关于策略的先验（E）。这两个信念直接影响策略选择。E矩阵编码了关于在当前情境下，独立于预期自由能的情况下代理会采取什么行动的信念。预期自由能评分了不同可接受策略的后验概率，以结果为基础。选择最小化预期自由能G的策略最小化了“模糊性”和“风险”（参见图3）。这里，风险是在每个策略下预测结果和首选结果之间的差异。
图3. 一个显示政策选择的贝叶斯图，展示了一个深度生成模型，该模型配备了关于状态转换的信念。每个时间步的后验状态信念现在取决于关于前后状态的信念，通过状态转换矩阵B中介。改编自Hesp等人（2021年）研究中图2中提供的模板。
首选结果由一个C矩阵参数化，该矩阵输入到每个政策的预期自由能计算中：简而言之，先验信念在代理的行动模型中实现了对实现首选结果的政策的偏好。我们建议读者参考Smith等人（2021年）的深入介绍性教程，了解主动推断。
Formalizing meta-awareness, attention, and cognitive control under active inference 形式化元意识、注意力和主动推理下的认知控制
最后，根据主动推断的术语，‘注意状态’和‘元意识状态’也可以被定义（Hesp等人，2021年）。在这样的方案中，模型引入了进一步的状态层次和相应的后验状态和精确度估计过程。在本文中，除了上面概述的第一级之外，我们定义了两个额外的级别。第二级包括‘注意状态’，它们调整了第一级的似然映射精度。第三级包括所谓的‘元意识状态’（即代表一个人对自己注意状态的意识程度的状态），它们调整了第二级的似然映射精度。除了它们在较低级别产生结果之外，这些状态没有什么特别之处——这些结果并不表明世界处于哪种状态，而是表明关于世界处于哪种状态的信念的精确度。见图4。
图4. 展示具有二阶注意状态的概率图模型的深度生成模型。这个深度生成模型包括一个新的状态层次，表示为s（2），它调整了第一阶似然映射A（1）的精确度。注意策略π（2）代表着在注意状态之间转换的心理（隐蔽）行动。改编自Hesp等人（2021年）研究中图4中给出的模板。
正如我们上面所指出的，注意过程总是涉及一定程度的不透明性，因为它们以低层次（感知）状态作为输入并对其进行操作。深度主动推断模型添加了新的状态推断的层次结构，以利用由低层次状态和（尤其是）精确度估计引起的参数深度。用主体性自我模型理论的术语来说（Metzinger，2003年，2004年），在模型的更高层将低层次的精确度和状态估计作为数据或观察结果有效地使低层次变得不透明。这反过来导致了第一级的精确度取决于第二级的‘注意控制状态’的调制。在定义了注意状态并将它们适当地连接到它们在第一级上控制的精确度之后，我们可以以与我们对待其他状态完全相同的方式来处理它们，即通过（变分）推断来估计它们的后验期望。实际上，这意味着我们的主动推断代理必须推断出他们处于哪种注意状态。接下来，关键的一步是在第二级定义一个转换矩阵B（2），它指定了关于‘注意状态之间转换’的信念。由于注意状态只是普通状态——在更高级别定义的——我们也可以在该级别为模型配备状态转换。
在这种设置下，我们可以定义‘心理（隐蔽）策略选择’。注意状态之间也可以相互转换，我们已经在第二级定义了B（2）矩阵来捕捉代理关于这些转换的信念。这种设置意味着‘注意控制’变为‘自顶向下的状态依赖精确度调配’。在定义了心理状态转换之后，心理策略现在可以以通常的方式来定义——作为一个在第二级影响隐藏状态转换的策略，即影响B（2）的元素。关键的区别在于，这些隐藏的心理状态本身调节了低层次的精确度。这为作为Limianowski和Friston（2018）所提出的精确度调配的形式化处理提供了一个形式化的处理方式，通过定义一个适当的生成模型，显示出隐蔽行动自然地从对注意的形式化定义中产生。
最后，我们可以定义进一步的状态推断层次，将其与处于特定注意状态的元意识联系起来。这些可能被称为‘元意识状态’，它们以第二（注意）级别的后验状态和精确度估计作为输入。回想一下，为了让代理能够控制第一级别的感知不透明度，我们定义了生成模型的第二级别，它观察了第一级别的状态和精确度估计。现在同样的推理也适用于注意状态。为了捕捉冥想实践中发现的有意识的、持续的元意识的现象学，我们定义了一个第三层隐藏状态，表示代理的潜在元意识状态。在这个层次上状态之间的转换代表了代理对其注意力集中位置的元意识水平的转变。由此产生的三层元意识和控制模型如图5所示。
图5. 展示具有三个层次状态推断的深度生成模型的概率图模型。更高层次的状态影响下一级别的似然映射精度。注意状态s（2）调节感官观察的置信度，而元意识状态s（3）调节更高阶观察的置信度。
有人可能会想知道是否需要这样一个层次来建模元意识和注意力的不透明性，因为可以在不需要第三层的情况下定义精确（不透明）的注意力似然映射A（2）。然而，这个层次是必需的，因为它对于‘明确控制元意识’是必要的。注意状态是特征性的控制状态，但对于一些传统，比如正念冥想，问题不在于有选择地增强或抑制经验的某些方面的机制，而更多地是关于获取和评估这些注意力状态和过程本身的质量。毕竟，要有意识地控制他们的注意力状态，代理必须明确意识到它。也就是说，第二级的注意状态也必须尽可能地变得不透明，这是通过元意识水平的状态推断和控制来完成的。
从数学上讲，注意力和元意识状态的推断是基于三种证据进行计算的：先验信念、直接感知证据（例如，对自己注意力状态的元认知观察）以及基于下一级别的精确度信念的上升证据。对于从‘连续’预期精确度到‘离散’状态的上升信息，我们使用贝叶斯模型简化（Friston等人，2017b）（推导过程见Friston等人，2018年）来评估与每个更高级别状态相关的先验下的边际似然。例如，在注意力证据的情况下，这给出
这种方法类似于Hesp及其同事在对待更高级别情绪状态时采取的方法（Hesp等人，2021年），这里应用于似然精度γA，而不是模型精度γG。
另一个关键区别在于包括由这些更高级潜在状态直接观察引起的感知证据，例如
。请注意，当更高级别的似然精度（例如
不为零时，即当状态在某种程度上不透明时，才有这些证据可用。因此，透明度和不透明度的区别可以直接与证据计算相关联。例如，当精度为零时，认知状态不被有意识地观察；然而，它仍然可以从来自下一级的证据上隐含地推断出来（因此从透明体验）。从透明到不透明的转变因此与由非零、更高级别的似然精度提供的感知证据的积累有关。
总之，本文对参数深度主动推断模型的认知控制做出了三个新的贡献。第一个贡献是将注意和元意识‘状态’规定性地定义为不同层次的不透明性控制机制。第二个贡献是通过对更高层次策略选择的描述，提供对注意和元意识‘控制’的正式定义。第三个贡献是正式展示元意识状态与有意识的注意控制能力之间的关系。所得到的模型如图5所示。在接下来的内容中，我们使用上述推理结构模拟注意力任务中的信念更新，以说明元意识调节的关注和心神漫游的循环的出现。
Results结果
本节提供了数值（模拟）结果，以展示前一节描述的模型如何产生不透明度-透明度现象学。这提供了元意识的正式解释，并且也为注意力控制提供了一个模型——形式化为状态依赖的精确度控制。我们将展示一个具有这种深度三层生成模型的代理在感知任务中的模拟结果。以下小节将对结果进行评论，从感知水平开始，逐渐建立到完整深度模型的跨层动态。
Level 1: attention, opacity, and awareness注意力、不透明性和意识
有了上述架构，我们可以开始研究持续注意力控制的过程。从第一个层次开始，我们可以通过数值模拟来检查给生成模型配备注意状态的效果，看看在A（1）上变化的精确度如何影响感知后验状态估计的动态。
在下面的模拟中，如图7所示，一个主动推断代理展示了一个‘被动’视觉奇葩范式，即仅对感知进行建模而没有行动。在这样的范式中，代理被呈现一个重复的视觉提示，即‘标准’刺激。这个重复的提示偶尔会被呈现不同的提示，即‘变异’刺激（或所谓的奇葩）。在这里，标准和变异刺激通过一个感知状态因子
进行模拟，有两个水平代表呈现给代理的‘视觉’提示的两种可能状态。这个状态的生成过程是预先确定的，每20个时间步骤显示一个变异刺激。这旨在复制在注意力和分心阶段感知内容的变化。这里没有建模感官习惯化。在每个时间步骤，代理推断他们观察到的潜在原因，即实际呈现的刺激。为了展示注意状态变化的影响，代理在试验的前半部分被人为地保持在‘专注’状态。这使他们具有较高水平的感知精度（高精度γA在概率映射
上）并提供了一个简单的示例，说明了一个‘专注’的参与者的感知信念更新。另一方面，在试验的后半部分，注意状态设置为‘分心’，导致对
的较低精度。从数学上讲，改变期望精度
可以产生与对传入证据的响应中
的各个元素的更新相同的效果，这可以使概率映射更或更不具信息性。核心区别在于，期望精度适用于概率映射的所有元素，从而为映射提供经验约束，并为生成模型提供不同类型的统计结构。如果这种结构适合描述手头传感器的高阶统计特性，它将促进自由能的最小化。
图7. 对参与奇葩范式的主动推断代理进行模拟。代理配备了更高层次的注意力状态s（2），调节了概率映射A（1）的精确度。在试验的前半部分，代理处于‘专注’状态，这使其具有更高的精确度，即代理对其观察如何映射到状态通常更有信心。在试验的后半部分，随着代理进入‘分心’状态，精确度下降。因此，他们对潜在状态的信念更新得更慢。
当处于‘专注’状态时，代理能够在呈现变异刺激后立即更新他们对所看到的内容的信念。当处于‘分心’状态时，他们对自己的观察没有足够的信心来快速更新他们的信念，因此，在呈现变异刺激时，他们对隐藏状态的信念没有完全调整。这说明了精确度控制和注意力增益的一个普遍方面，即精确度在证据积累和随后的信念更新中起到‘速率常数’的作用。换句话说，当专注于特定的信息流时，您将更快地收敛于后验信念，因为感官信息的某些方面被赋予更高的精确度，并对信念更新在更高层次的层次推断中产生更大的影响。
Level 2: simulating inference of hidden attentional states: the cycle of focused attention and distraction模拟隐藏注意力状态的推理：注意力集中和注意力分散的循环
现在，我们介绍了上述的奇葩范式的一个版本，它实现了一种心理行为形式。在这个修改过的奇葩范式中，代理的任务是将他们的注意力焦点移动到刺激物（重复的均匀刺激）上，并保持对该对象的关注，从而保持特定的注意力状态（‘专注’）。
有关专注注意力任务的现象动态的现有研究表明，一般来说，个体会在两种状态之间来回循环：保持专注和变得分心（Lutz等人，2008年；Hasenkamp等人，2012年）。这个循环经历了四个明显的阶段。首先，个体专注于特定任务或刺激，并成功地将注意力集中在焦点或对象上。我们将这种注意力状态标记为‘专注’。在某个时候，他们必然会变得分心，转移到我们标记为‘分心’的注意力状态。至关重要的是，这种状态转换至少在初始阶段对个体来说是未知的一段时间。这段时间被称为‘心灵漫游’，一种在分心的同时也不知道自己分心的状态。最终，个体意识到他们不再专注并意识到自己已经分心，这一刻我们称之为‘意识到分心’，然后促使他们将注意力重新集中到手头的任务上（即返回到注意力状态‘专注’）（见图8）。
要求参与者保持专注于特定刺激，在这个方案中等同于要求他们保持一个更高阶的注意力状态（‘专注’）。为了保持专注并注意到自己是否已经分心，代理必须持续推断他们处于哪种注意力状态。通过将注意力状态定义为可控的更高阶潜在状态（即作为可以通过第二级别的策略选择选择的状态），我们有效地允许代理控制他们正在关注什么。
我们可以测试这种架构是否产生了我们预期的注意力和分心的注意力动态。当我们将注意力状态视为代理必须推断的更高层次潜在状态时，上述充分记录的专注注意力的现象循环会在模拟中自然而然地出现。
在下面报告的模拟中，一个主动推断代理推断他们当前处于哪种注意力状态。我们内置了一个偏好，让代理更喜欢观察自己处于‘专注’状态（这内置在先验偏好或C（2）矩阵中），这编码了关注刺激的任务指令。因此，代理期望处于‘专注’状态，并将进行主动推断，以使这种期望或偏好得以实现：如果代理推断他们已经变得‘分心’，他们将采取一项政策将他们恢复到‘专注’状态。第二，我们编写了一个‘生成过程’，用于调节代理所经历的‘真实’状态转换。根据这个生成过程，代理从一个注意力状态转换到另一个状态的概率是依赖于策略的（参见图6）。
图6. 用于模拟在专注注意力感知任务中能够进行注意力控制的代理的概率图模型。每个层次的隐藏状态都有一个因子，有两个水平，感知状态可以是‘标准’或‘变异’，注意力状态可以是‘专注’或‘分心’，元意识状态可以是‘高’或‘低’。更高层次的状态决定了下一级别的似然精度。代理被指示注意一个视觉奇葩刺激；这被建模为在C（2）中偏好观察第二级别的‘专注’结果。这里的动作仅在第二级别上定义，有两种可能的动作u（2），‘停留’和‘切换’，它们调节了如图所示的注意力转换矩阵B（2）。
结果如图10所示。在试验过程中，代理多次分心。然而，由于代理必须‘推断’他们的注意力状态，这一事实并不会立即推断出来。对代理注意力状态的观察会导致预测误差，这会导致代理在几次观察之后调整他们的信念，并逐渐增加信心。
图10. 代理在奇葩感知任务中的注意力循环模拟。数值演示了分心、分心的元意识和重新聚焦的循环过程。主动推断代理在每个时间步骤推断他们自己的感知和注意力状态。状态后验线受限于对任一状态的100%置信度。在这个例子中，代理从未完全有信心推断出异常感知后验，因为它只在单个时间步长内呈现，时间不足以积累更多的证据。在任务开始时，代理是‘专注’的。在某个时间t，他们分心了。几个时刻后，代理推断出自己处于‘分心’状态的概率高于‘专注’状态，并且考虑到他们更愿意观察与‘专注’状态相关的结果，选择了一个心理行为u（2）来‘切换’他们的注意力状态。
在这里，专注阶段是代理的信念与真实（‘专注’）注意力状态一致的时期。通过数值结果很好地捕捉了心灵漫游阶段，即真实的注意力状态已经转变为‘分心’的时刻，而代理的信念尚未更新（代理仍然相信他们是‘专注’）。代理实际上对自己的分心状态不自知：他们的‘思维’已经偏离了。在接下来的时间步骤中，代理收集到足够的证据（即他们的注意力状态和上升精确度证据的高阶观察），以更新他们的信念，并‘意识到’他们的注意力状态已经转变（到‘分心’）。最后，现在意识到自己分心的代理在第二级别执行了一项心理行为，将注意力状态转回‘专注’状态（见图9）。一旦代理推断出‘分心’的概率高于‘专注’，这就会发生。请注意，当奇葩刺激呈现时，代理会迅速更新他们的注意力信念。感知变化导致的预测误差提供了更强的上升证据，源于第一级别精确度信念的变化。这个结果符合实证研究，显示出当感知要求较低时，心灵漫游会增加（Lin等人，2016年）。
图9. 对持续注意力现象阶段相关的计算条件的说明。这个图示出了专注注意力和分心的主要循环阶段的示意图。在这里，分心（即心灵漫游）被描述为真实的潜在注意力状态从‘专注’转变为‘分心’之后，但在代理更新他们的信念以与真实的潜在注意力状态保持一致之前的时期，也就是代理认为他们‘专注’的时期，而实际上他们是‘分心’的时期。
Level 3: simulating the impact of changes in meta-awareness states on attentional control 模拟变化的影响 关于注意力控制的元意识状态
如上所述，保持注意力焦点并迅速意识到分心的能力已与个体的元意识水平相关联（Mrazek等人，2013年）。我们现在来考察改变元意识状态对注意力状态推断动态的影响。我们证明，从将元意识状态视为调节第二阶注意力状态的似然精度的第三阶状态开始，基于元意识的注意力控制自然而然地产生，就像注意力状态调节第一阶感知状态的精度一样。
在图11中，一个模拟的代理执行与刚才描述的相同的专注注意任务，但有一个显著的改变：我们引入了第三级元意识状态。与图7类似，为了清晰地展示，我们已经定义了在这个级别的生成过程，使得代理在试验的前半段处于高元意识状态，而在后半段处于低元意识状态。值得注意的是，我们本可以让生成模型自由地漫游其元意识状态。然而，由这些递归交互产生的效应——无论对于未来的研究多么有趣——都会使读者难以解释模拟结果。因此，我们选择了明确的元意识操纵以获得清晰度。
图11. 在一个奇葩感知任务中，模拟一个具有不同水平元意识的代理的模拟。这个图示展示了一个主动推断代理，在试验的中途从高元意识状态（即在A（2）上的高精度）转变为低元意识状态。请注意，当代理处于低元意识状态时，状态证据积累的时间增加（即心灵漫游时间变长）。
我们报告说，由于低元意识（即注意力状态的透明度降低），
的精度降低导致了心灵漫游的延长，直到代理积累足够的证据意识到他们已经分心。
事实上，在这个例子中，直到他们的感知内容发生变化（即出现奇葩刺激），代理才意识到自己的思绪漫游，这提供了进一步的证据表明他们已经失去了专注，促使他们切换注意力状态。由于更强的元意识调制和对注意力状态提供的增强精度，导致了心灵漫游时间的缩短，这是关于注意力现象学的已建立关系，特别是与专注注意力的冥想实践相关（Mrazek等人，2013年）。这种关系在这里被描绘为一种有机的动态，它自然而然地从编码较低级别精度的高级状态的分层架构中出现。这完成了我们的数值分析。
Discussion and directions for future research未来的讨论和方向研究
Expanding the model to other parameters将模型扩展到其他参数
所提出的模型使得在一个单一框架下模拟物理（明显的）行为和心理（隐蔽的）行为成为可能——实际上提供了一个感知推理和行为的单一模型，可以在心理和身体生活之间提供计算桥梁。这项工作为在需要进行运动行为选择（例如眼球运动）和有意识地部署注意资源（例如专注于一个特定刺激以排除其他刺激）的任务中模拟复杂行为提供了一个有原则的方法。我们的模型还为认知体系结构的形式提供了见解，这可能需要支持认知监控（即心理状态的现象学不透明性）和控制的出现。
我们已经关注了涉及似然映射或A矩阵的注意力过程。下一个自然的步骤是考虑将这种处理推广到模拟对生成模型的其他部分的精度的访问和控制：例如状态转移的精度（B）、结果偏好（C）、关于状态的先验信念（D）、关于策略的先验信念（E）以及预期的变分自由能本身（G；如Hesp等人，2021年）。从数学上讲，将与生成模型的任何部分相关联的先验精度条件化于更高级别的状态是完全有效的。图12描述了可能实现这一目标的生成模型的结构。
图12. 一个关于所有精度参数的心理行为的深度生成模型的贝叶斯图。在这种架构中，高层状态s(2)包含多个因素，调节所有低层精度。这种结构为广泛的心理状态和策略（π(2)）的形式化提供了方向。改编自Hesp等人（2021年）的研究中提供的图4中的模板。
这一创新的结果是增加了代理人可用的心理行为的多样性。因此，高层状态s(2)通常代表隐藏的心理状态，不局限于建模注意力状态。将生成模型的其他部分的精度映射到现象学经验的维度超出了本文的范围。我们预期这种策略可以提供一个通用框架，来概念化不同风格的高阶调节和心理行为。例如，它可以为研究不同文化和社会环境如何以不同方式塑造认知风格（Proust and Fortier 2018）提供一个计算支架，这对我们理解元意识的发展和精神病症状的跨文化变异具有影响。一个令人兴奋的方向是利用这种方法来完善和扩展对各种精神疾病如情绪障碍的建模（Kiverstein et al. 2020）。
我们强调，这种建模策略是完全通用的，不局限于建模注意力过程。它承诺以推理来理解感知（Von Helmholtz 1924；Gregory 1968, 1980；Fleming 2020），特别是感知推理的高阶方面。在主体感知（Wurtz et al. 2011）的术语中，主动推理提供了一个原则性的描述，说明了如何部署行动来减少变分自由能；在这个通用的方案中，简单反射、一系列复杂的动作和心理行为之间没有根本区别—参见，注意力的前运动理论（Rizzolatti et al. 1987）。我们将心理行为建模为一个通用的隐藏过程，它是人类心理生活许多方面的根源。其他类似的方面，如情绪的自我意识和控制，将以相同的方式实现（即通过精度的部署）。例如，在Hesp等人（2021）的工作中，行动模型本身（G）的预期精度与有价值的反应相关联。我们的模型是通用且可适应的，但目前尚未实现以涵盖其他类型的心理行为。我们打算在未来的工作中探索这样的方向。
在这里，区分访问或感知自己的心理状态和控制它们的区别至关重要。在计算建模传统中，我们方法的创新之处在于控制方面。实际上，从计算的角度来看，人们可以认为层级生成模型（例如经验贝叶斯）已经存在了很长时间，并且它们在允许我们实现感知和学习作为推理的方式上非常有用，从而能够推断环境的（深层）因果结构。这一部分并不是完全新颖的。这种层级结构是机器学习中主流方法的基础，通过深度神经网络（例如卷积神经网络和循环神经网络），它们建立了一个包含不同特征的隐藏层的分层模型，这些特征具有不同的尺度。我们模型的新颖之处在于将这种深层推理结构与“行动及其控制”相结合，换句话说，我们不仅仅谈论深层或分层推理，而是谈论深层的“主动”推理。我们的建模策略为我们提供了一种通过自上而下部署精度来控制先前未受控制参数的手段。
Towards a computational phenomenology走向计算现象学
当前框架的另一个未来可能的应用是提供一个形式工具，以理论和实验的方式探索“现象学的自然化”，正如神经现象学的倡导者所提出的（Varela 1996, 1997; Roy et al. 1999; Petitot 1999; Lutz 2002; Lutz and Thompson 2003）。自然化现象学是一个科学研究项目，旨在以其自身的方式表征心灵-大脑系统，就像它对自身出现的方式一样，作为经验的主体，而不仅仅将其视为一种东西（Roy et al. 1999; Ramstead 2015）。关键在于如何最好地描述从生活经验的现象学描述中获得的第一人称数据与第三人称的认知和神经科学描述之间的关系。例如，一个人如何将直接的生活体验与观赏美丽日落的生理表现联系起来？
因为神经现象学的倡导者认为第一人称经验打开了一种现象领域，这种领域无法归约为任何其他形式，他们通常承认从第一人称（现象学）和第三人称（普通）数据中获取的知识之间的桥梁具有认识论上的重要性（Petitot 1999）。神经现象学被描述为在神经生物学、现象学和数学描述之间寻找“生成的通道”，超越了这些层面之间仅仅描述同构性的范围，朝向相互认识论和方法论责任以及相互交流（Varela 1997; Petitot 1999; Lutz 2002）。神经现象学旨在通过数学和计算工作提供的形式上中立的描述层面来弥合这些数据类型之间的差距。神经现象学的策略（Varela 1996）是基于经验揭示的现象领域、认知神经科学测量的神经生理状态的领域以及形式模型界定的领域之间的“相互约束”来建立和验证意识经验的综合模型（Varela 1996, 1997）。
神经现象学的先驱者曾试图利用动力系统理论的形式模型和分析工具来弥合这一差距。从我们的角度来看，这可以被视为在没有同样程度的形式精确性的情况下，预见了主动推理框架的几个核心原则。当时可用的形式化工具还不足以明确建模诸如透明度、不透明度、元意识和心理行动等微妙的现象学构建。从这个角度来看，当前的模型可以扩展和补充这个早期的努力。
"计算现象学"将现象学描述所能获得的生活体验方面形式化，并模拟了使目标现象学出现的推理过程的模型（Ramstead等人，2021）。从计算现象学的角度来看，深度主动推理模型可以作为生活或意识体验的产生和动态的过程和因素的地图。实际上，这里提出的模型首先从注意力集中的现象学出发，并逐渐成为一种信念和推断架构的模型，使得这样的现象学成为可能，并能够被解释为这样一种体验。模型的复杂程度由目标现象学所要求和约束；在本例中，我们需要三个层次的层次结构。这种形式的调查的一般形式——直接使用主动推理作为一种形式化基础，来解释能够解释生活体验结构的基本要求——可能指向一条有趣的计算神经现象学的道路。
Conclusion结论
本文旨在开始朝着基于深度主动推理的计算现象学方向迈进，以探讨心理行动、元意识和注意力控制。理解这些认知意识和控制过程对人类研究至关重要，因为这也许是人类体验最具特色的方面。我们利用主动推理框架的建模和数学工具构建了一个推理架构（生成模型），用于元意识和注意力状态的控制。这个模型由三个嵌套层次组成，分别为：（i）感知外部环境，（ii）感知内部注意力状态，以及（iii）感知元意识状态。这种架构使得能够对更高层次的心理（隐性）行动进行建模，从而使代理者能够对自己的注意力过程进行一定程度的控制。我们在计算模拟中复制了一些元意识的关键特征，包括其现象学特征和与注意力控制的关系。