通用智能框架part2
这一部分重点是后面的第三章对生物海马体的大量生物高级认知的描述。
先列出第四部分的表格。
关键词：认知价值，工具价值，行动价值，不确定性，多尺度，解构
翻译图表在文章后面
接上篇
2.2 A hierarchical generative model
1、
LatentSLAM 框架的整体可以根据分层生成模型进行数学理解(atal 等人,2021b)。有两个不同层次的推理,每个层次都使用自己的生成模型来解释相应抽象层次上的环境动态。当生成模型被堆叠时,较高层次的模型将来自较低层次的状态作为观察值,而较低层次通过智能体的传感器观察实际环境。每个单独的创成式模型在数学上都可以看作是联合概率
o = 相关各级观察; s =内部状态描述、观点或位置; a =每一层可能的动作(环境中的位移或节点转换)。
这些模型只考虑了直到未来某个时间范围的生成过程?.联合概率的确切实例和相应的后验分布在层级的每个级别之间不同;感兴趣的读者可以参考(atal 等人,2021b)对这种模型更全面的描述。
2、
动作和状态推断,即寻找后验
和
是通过主动推理实现的。在主动推理中,大脑被认为是一个积极尝试最小化其变化自由能的预测模型。当在人工智能体(即机器人)中实现类似的机制时,变分推理通过变分自动编码器(VAE)的训练来分摊。该模型由三个神经网络组成通过基于不同的输入输出不同的多元高斯分布来表示条件概率分布。这些输入可以采用不同的传感器形式,例如激光雷达或照相机;或者它们可能是依赖于神经网络之间信息流的动作。
3、
状态推理自然地从神经网络结构和训练方法中出现。然而,动作推理利用训练的网络来创建一组假想的轨迹,从这些轨迹中可以通过期望的自由能最小化来选择最佳动作序列。该模型是在自由能目标泛函上训练的,其中它的任务是最小化状态的先验和后验估计之间的贝叶斯惊奇(以 KL 散度的形式)。在这种分层生成模型中,在任何给定时间都有两个信息来源在两个方向上流动。感官观察从真实世界通过较低级别的姿态-视图模型向上流向较高级别的映射模型。预测以相反的方向流动,从较高级别的映射模型开始,通过较低级别的姿势-视图模型中的预测动作向下流动到环境中。
2.2.1 Bottom-up sensory streams
4、当智能体在环境中移动时,它通过传感器观察世界。在生成模型的较低层次,主体积极地试图预测未来传入的感官观察。当每个观察都被编码成一个潜在的向量(视图)时,代理主动地抽象出观察中的干扰元素。由于这种编码是从行动、观察和先前的潜在状态中产生的,因此该模型考虑了历史和驱动(或行动)对环境的影响。然后,抽象的视图被输入到更高层次的映射模型中,该模型考虑到代理遍历体验图和当前视图的方式,主动地从上一个体验预测下一个体验。
2.2.2 Top-down prediction streams
5、与此同时,决策从生成模型的较高级流向较低级。当新的导航目标被设定时,通过体验地图的期望轨迹被生成。每个节点转换表示真实环境中的一个或多个位移。在遍历图形时,代理将与被访问节点相关联的视图设置为低层模型的规划目标。在更高的层次上,智能体从状态的当前信念分布中对多个状态估计进行采样,并利用生成模型的预测能力来设想可能的结果,直到某个固定的规划范围(Friston et al .,2020)。从所有这些想象的未来结果中,选择最佳的一个,然后重复这个过程,直到达到目标视图和姿态。反过来,地图轨迹中的下一个节点用于生成新的较低级别的规划目标
6、
2.3 创建地图如前所述,
一旦代理遇到完全不同的体验,一个新的节点将被插入到具有当前视图和姿势的体验图中。随着代理探索世界,这一过程产生了不断增长的环境地图。因此,需要有一种原则性的方法来确定视图是新的还是代理已经知道的。与许多此类问题一样,解决方案以某种明确定义的数学空间中的距离函数的形式出现。一个精心选择的距离函数将允许代理不仅构建其环境的一致地图,而且考虑环路闭合事件。
7、
2.3.1 距离函数
许多 SLAM 算法使用姿态之间的欧几里德距离来确定当前的观察和姿态是否在地图中是已知的或者表示一些新颖的体验。然而,由于在许多真实世界场景中本体感觉的固有漂移,姿势和/或观察之间的距离度量通常是不够的。备选方案根据算法所基于的概率框架的形式来呈现它们自己。
如第节所述 2.2,LatentSLAM 通过感觉输入(即相机图像)学习潜在状态空间流形。这使得代理不仅可以评估姿态之间的欧几里德距离,还可以评估潜在统计流形中两个感觉输入之间的距离。为了评估流形内部的距离,我们需要一个合适的距离度量。一个值得注意的候选指标是Fisher 信息度量(Costa 等人,2015 年),它代表了测量之间的信息差异。在我们的上下文中, 这意味着只有当一个测量比另一个测量有足够多的信息时,两个测量才在体验图的不同节点中被编码。例如,在一条没有纹理的白色长走廊上移动不会产生潜在流形中的信息变化,因此这将被映射到单个体验节点上。只有当一个显著的特征出现时,例如一扇门,才会有足够的感官信息来编码新的体验。然而,在这种情况下,构建度量地图的方法可能会失败,因为不可能在漫长、无纹理的走廊中准确跟踪一个人的位置。
8、
请注意费希尔信息度量也与用于流形学习的自由能最小化目标相关。具体来说,如果我们把
对于分布之间的极小差异，KL散度接近Fisher 信息度量(Kullback，1959)。这可以解释为在无限小的时间步长上整合代理的贝叶斯惊奇来测量“信息距离”
然而,由于 Fisher 信息度量和 KL 散度对于许多类型的概率分布没有封闭形式的解,我们使用分布模式之间的余弦相似性作为数值稳定的近似函数。因此,LatentSLAM 评估经验之间的信息差异,而不是确切环境观察的差异。
9、2.3.2 节点创建和循环闭合
当代理无法在图形中找到与当前视图或姿势足够匹配的单个节点时,必须在图形中插入一个新节点。或者,如果当前体验在姿势和视图上都匹配,则注册一个循环闭合,但代理保持地图不变。为了确定两个经历是否匹配,SLAM 使用匹配阈值θ.体验的姿态和视图都与存储在地图中的体验相匹配。Figure 3 给出各种可能匹配情况的直观概述。如果视图或姿态都不与任何可能的存储视图或姿态匹配,则创建新的体验并将其插入到地图中,如子图 a 所示。当视图和姿态都匹配时,发生了循环闭合,并且当前体验转移到存储的体验,此时启动图形松弛阶段。如果当前观察到的经验与路径上存储的经验相匹配,则需要重新定位,并且估计沿着图中的路径进一步移动。最后,如果当前姿态估计与存储的经验姿态匹配,但是没有找到对应的匹配视图,则在相同位置插入新节点。这允许代理在整个地图上跟踪同一地标的不同视图。
10、2.3.3 图形松弛
随着节点被插入到整个图形中,每个新的姿态观察都受到传感器漂移的影响,导致记忆的姿态的误差增加。为了解决这个问题,每当遇到循环闭合事件时,将图松弛应用于经验图。该算法将图中的每个节点视为与其邻居相连,就像被受力弹簧悬挂一样。每个弹簧的强度与节点之间的姿势距离有关。然后,该算法通过以力的总和最小化的方式移动姿态来减少图形的总“能量含量”。这种方法类似于类似 SLAM 算法中的图松弛(Thrun 等人,2005;Thrun 和Montemerlo,2006 年)。图形松弛具有变形地图的姿态嵌入的形状的效果,以反映环境的实际拓扑
11、2.3.4 设置阈值
由于匹配阈值对地图的形状和内容有着重要的影响,所以它是 LatentSLAM 中比较重要的超参数之一。对于每种环境,都有一个最佳调谐的阈值参数 θ ⋆ 比这个最佳值低得多的匹配阈值将导致几乎没有环路闭合事件的映射过程。该地图将包含视图中的每一个微小排列,并作为一个单独的节点构成,并且不足以对抗里程计漂移。相反,如果阈值设置得比 θ⋆高得多, 则映射过程会将所有内容都集中到一个小的节点群集中。Figure 4 提供了匹配阈值对生成的地图的影响的直观示例。
12、2.4 航行
导航是通过一个双重过程实现的,首先在高级体验图中选择节点,然后将节点视图设置为基于主动推理的低级动作规划器的目标。在第一阶段,通过连接当前节点和目标节点的图生成路径。基于存储视图的视觉重建选择最终节点。也就是说,系统的用户选择他们希望系统在某个地方具有的视图。一旦找到体验轨迹,代理就可以开始在环境中行动。由于每个连续的体验节点通过有限的一组动作与它的邻居分开,从轨迹中提取一系列目标视图,形成代理可以(近似地)通过公开动作产生的假想轨迹。然后,基于主动推理的较低级生成模型能够通过额外的规划来填补想象和现实之间的进一步差距。
在每一步,代理都要考虑其当前视图和直到下一个目标视图的想象轨迹。这种想象过程利用了环境的复杂性和动态性来弥补交互中潜在的随机性。一旦在高层设想了一个合适的轨迹, 智能体就执行轨迹的第一步,然后重复低层的规划过程。这些在环境中的逐步过渡使代理对环境中的意外变化更加健壮,这可能是它在模型训练期间没有捕捉到的。
13、
至关重要的是,使用预期自由能的共同目标函数对想象的轨迹进行评分,既包括通过经验图/图的较高水平的建议路径,也包括能够在节点之间转移主体的较低水平的推断动作(atal 等人,2021b)。也就是说,如果轨迹将主体引向优选的结果和/或解决关于环境的不确定性, 则轨迹更有可能被选择。因此,行动选择包括工具价值和认知价值之间的权衡,它们根据变分自由能的单一标准自然地在两者之间进行权衡。为了提供导航中的一个示例,实现先前偏好的外在价值和新信息的内在价值之间的这种权衡可以分别表现为经由公认的地标选择更安全的路线,或者选择穿过黑暗森林的未知(但可能更短)路径。
14、2.5 限制
LatentSLAM 的当前实现有几个限制。首先,经验图不能将具有相似视图和近似相似姿态的节点合并成单个统一的随机节点。这又导致算法每次通过单个位置时生成越来越多的节点。第二,较低层次的规划受限于训练期间遇到的序列长度,因此该模型无法想象超出这个时间范围的连贯结果。这给我们带来了 LatentSLAM 的最后一个限制,因为较低级别的生成模型需要针对它在环境中可能遇到的观察类型进行预训练。在未来的工作中,我们的目标是通过调整培训程序来适应在线学习,允许代理在探索的同时学习想象,从而缓解这些限制。
15、
3 海马/内嗅系统 (hippocampal/entorhinal system (H/E-S)
海 马 / 内 嗅 系 统 (H/E-S) 代 表 了 进 化 中 的 一 个 重 大 转 变 (Gray 和 McNaughton , 2003 ; Striedter,2004 年),鸟类和哺乳动物物种之间的同源物表明其功能至少在 3 亿年前建立(Suryanarayana 等人,2020 年),其一些起源可能可追溯到 5 亿多年前的寒武纪大爆发(Feinberg 和 Mallatt,2013 年),甚至可能更早。可以毫不夸张地说,H/E-S 代表了脊椎动物神经系统中自主和认知的核心,类似的组织原则使昆虫表现出潜在的令人惊讶的智能行为程度(Ai et al .,2019;Honkanen 等人,2019)。
虽然它们的确切功能作用仍有争议,但海马位置细胞和内嗅网格细胞的发现是我们理解时间和空间在大脑中如何表现的一个重大进展(O'Keefe 和 Nadel,1978;Hafting 等人,2005 年)。同样重要的是在大鼠中发现了头部方向细胞,发现它们根据头部方向的时刻变化而激活(Sharp PE , 2001) 。位 置 单 元 已 被 建 模 为 表 示 基 于 生 物 体 可 能 状 态 转 换 的 “ 后 继 表示”的“预测图”(Stachenfeld 等人,2017 年),而网格单元已被理解为将这些图(或马尔可夫链)链接到空间的灵活(多级)度量平铺中发生的特定事件,因此允许通过轨迹上的路径集成来估计位置。虽然我们不需要解决这些细胞类型之间的精确对应关系,但有一些有趣的发育观察位置细胞在网格细胞之前获得更成熟的功能,这两种细胞都可能依赖于头部方向细胞的出现(Canto 等人,2019)。
16、
除了位置和网格细胞之外,在 H/E-S 中还观察到了各种其他专门的细胞类型。虽然以前认为这些特征代表先天的诱导偏差(Zador,2019 年),但越来越多的证据表明,这些专门的细胞类型可能源于经验依赖的可塑性,包括与本文所述具有类似架构原则的模型。在 DeepMind 最近的工作中(Uria 等人,2020 年),一个递归系统被用于预测来自(潜在空间)可变自动编码器的视觉输入序列。观察到从以自我为中心的信息到以别为中心的空间参考框架的自然映射,包括具有类似于头部方向、位置、波段、界标、边界向量和以自我为中心的边界单元的响应属性的专门化单元的诱导。Tolman-Eichenbaum machine(whitt ington 等人,2020 年)也获得了类似的结果,包括可靠的细胞重新映射,因此能够跨情节进行迁移学习,具有创意(重新) 组合和推理协同的潜力。虽然这一证据表明,在时空导航专用神经元“区域”的出现中存在潜在的大量经验依赖,但这些特征的发展仍然涉及明显的先天诱导偏差,例如确保 H/E- S 从乳头体的颈部伸展感受器接收头部方向和从前庭器官接收偏航/俯仰/滚动信息的专用路径(Papez,1937;Wijesinghe 等人,2015 年)。
17、
3.1 H/E-S 作为高级认知的指挥者
虽然海马体与自传体和陈述性记忆的关联得到了很好的证明(MacKay,2019),但 H/E-S 越来越被认为是多种尺度上的控制论功能的基础。对控制 H/E-S 的原理及其与大脑其他部分的相互作用的更彻底理解,可能会让我们理解生物有机体是如何展示这种复杂的认知和行为的(Todd 和 Gigerenzer,2012)。更重要的是,这些知识也可以帮助我们找到在人工智能中复制这些功能的方法。
海马体通常被描述为“三突触回路”(Andersen,1975),具有多个与功能协同相互作用的专门子系统。齿状回是从内嗅皮层到海马的主要输入区,具有密集的细胞用于模式分离,因此允许多个可分离/正交的表示。然后,这些信息中的大部分进入 CA3,其特点是具有用于动态模式完成的紧密循环的高重现电路。这些信息然后被路由到 CA1,其特征是稀疏和稳定的表示,代表海马体的主要输出区域,并与大脑的其余部分相连接。总之,海马复合体的子场允许多种来源的信息不仅独立地存储在记忆中,而且创造性地在经历中和经历之间组合,从而提供强大的协同功能,如迁移学习和概括知识。有趣的是,一些证据表明,人类在海马区表现出较少的模式分离可能是独一无二的,这可能有助于涉及高度抽象 /不变性的认知(Liashenko 等人,2020;莫与爱,2020;基罗加,2020)。
18、
如果关联原则能够将特定的关系结构表示为特定的图形/网络,则关联原则可能会令人惊讶地强大,这越来越被认为是强大的学习和推理系统(Gentner,2010;周等,2019;克劳斯等人,2020 年)。一些人甚至认为,H/E-S 的空间和时间映射能力代表了通用无限联想学习的一种特殊情况(Birch 等人,2020 年),如跨集聚合(Mack 等人,2018 年,2020 年;Mok 和 Love,2019),或者能够通过代表性的“克隆”生成认知地图的动态演化图(Gothoskar 等人,2019)。H/E-S 对于高阶认知的中心作用是可以进一步理解的,因为事实上智力的许多(可能是大多数)方面都可以被描述为搜索过程(Conant 和Ashby,1970;Hills 等人,2010 年),如果我们考虑将复杂特征空间等抽象领域空间化的可能性,这可能会更加明显(Eichenbaum,2015 年;Whittington 等人,2018),甚至时间(Howard,2018;Gauthier 等人,2019 年)。
19、
H/E-S代表了皮质层级的发育基础和功能顶点(Hawkins和Blakeslee，2004；Barron等人，2020)。在大脑的预测处理模型中——例如这里描述的变分自动编码器框架——在较低水平没有预测到的观察结果最终会到达内嗅皮层和海马体。我们认为H/E-S允许这些高层次的预测误差被临时编码，并用时空和抽象的关系结构来组织，以实现信息协同。事实上，在高抽象层次上，H/E-S可以被认为是一种卡尔曼变分自动编码器，它结合了异构形式的(精确加权)信息，用于在广义状态/相位空间中同时定位和映射(Fraccaro等人，2017；张等，2017)。换句话说，皮层预测层级可以被视为自上而下的层级卡尔曼滤波(Friston，2010)。沿着这些思路，值得注意的是，H/E-S本身可能以反映皮质预测处理的更一般原则的方式运行。对于用于预测编码的规范微电路，预测与深层锥体神经元和α/β频率相关联，预测误差与浅层锥体神经元和γ频率相关联(Bastos等人，2012，2020)。一致地，新信息(即预测误差)诱导内嗅皮层、齿状回和CA3的浅层锥体神经元的激活，回忆(即预测)与CA1和内嗅皮层的深层锥体神经元的激活相关(Maass等人，2014)。同样，最近的另一项研究观察到，CA1区的浅层位置细胞在线索贫乏的环境中做出反应(通过速率代码)，而深层锥体神经元在线索丰富的环境中做出反应(通过相位代码)，在这种环境中，我们可能分别预期预测误差或预测占主导地位(Sharif等人，2020)。
20、
从预测编码的角度来看,海马是一种奇怪的皮层,不仅因为它特殊的细胞结构特性(例如 3 层对 6 层),还因为它的连接中心性。最近的建议表明,记忆回忆可能源于“虚构的预测错误”(Barron 等人,2020),为优化没有感官数据的世界的生成模型提供了训练信号的来源, 因此提供了独立于刺激的学习和想象计划。这与 DeepMind 的工作一致,在该工作中,海马被描述为根据“大循环递归”的原则进行操作,其输出可以作为离线学习和反事实处理的输入进行再循环(Koster 等人,2018 年)。
值得注意的是,层流特异性 7T fMRI 揭示了这种新产生的信息与浅表内嗅皮层的激活相关, 表明 H/E-S 不仅可以为新皮层提供预测源,还可以为其自身提供预测误差,潜在地通过皮质生成模型的参数化模拟(Higgins 等人,2020)。此外,最近关于情景记忆形成和提取的证据表明,皮层和 H/E-S 之间的相互作用可能反映了各种频带在预测编码或“路由”中的作用(Griffiths 等人,2019a 巴斯托斯等人,2020 年)。在这项研究中,新皮质 α/β(8-20hz)功率下降与随后的海马快速 γ(60-80hz)可靠相关,海马慢速 γ(40-50hz)功率与随后的新皮质α/β 下降可靠相关,这可能表明预测和预测误差之间的权衡。然而,这与更普遍的归因于皮层的标准预测编码有些不同,因为伽马频率的参与可能支持前述的想法,即海马记忆的再激活涉及“虚构的预测错误”(Barron 等人,2020),而不是抑制性的解释。
21、
与其他慢节律相反,海马 θ 振荡可能表明通过交叉频率相位耦合的观察增强(Canolty 和Knight,2010),潜在地为高级别行动和注意力选择提供了基础。沿着这些思路,θ-振荡在伽马频率下选择/协调皮质集合的能力可以为海马系统提供一个比较器的角色,使感知之间的对比成为可能,无论是基于观察还是想象(Safron,2021b)。CA1 和 CA3 之间的相反相位关系(Tingley 和 Buzsáki,2018 年)具有启发性,可能表明海马系统内的一种预测编码,也可能实例化/编排相应皮质集合的形成和对比,作为 θ 振荡占空比的交替相位(Heusser 等人,2016 年;Kunz 等人,2019)。事实上,反事实的娱乐可能不仅依赖于一个足够大的大脑皮层来支持一个可与感觉中枢直接接触分离的内部回路(巴克纳和克里宁,2013),而且还依赖于一个工作的 H/E-S 来稳定与新的(由于是非实际的)可能性相关的整体(哈萨比斯等人,2007)。这样,结合皮层的其余部分,H/E-S 可以被视为基于能量的自我监督对比学习器,如果(变化的) 自由能量/预测误差相对于目标和当前估计状态之间的偏差被最小化,这可以实现大量的自适应自主行为(Hafner 等人,2020;赛峰,2021b)。
22、
最近,Numenta(一家受生物启发的人工智能公司)的研究人员提出,H/E-S 功能中涉及的原则(和特定的细胞适应)—例如,allocentric 对象建模(Sabour et al .,2017;Kosiorek 等人,2019 年)——可能在整个新皮层中重演(Hawkins 等人,2019 年)。H/E-S 可能代表理解新皮层的模板的想法不是不合理的,因为虽然它被称为“皮层下”,但在技术上它是由皮层组织组成的 (Insausti 等人,2017)。沿着这些路线, H/E-S 不仅在拓扑上是“汇聚发散区”(Damasio,2012 年)和“语义指针”的中枢(Blouw 等人,2016 年),而且从进化(如archaecortex/periallocortex)和发展的角度来看也是主要的。
基于以对象为中心的参考框架的建模可能是 cortex 的一个更广泛的属性(Hawkins,2021)。
然而,我们认为,这种连贯的观点可能取决于能够在显著独立于其他建模/控制过程的情况下进行主动推理和学习(Thomas et al .,2017,2018)。也就是说,对于具有 H/E-S 属性的紧急模块,它们必须能够以足够快的速度实现信息闭合,使得它们既可以独立地通知特定效应器-传感器系统的动作感知循环,也可以被其通知。例如,这种独立可控因素的建立可能是诸如啮齿动物须管的大宏观柱的情况,但可能不是眼优势柱。在某种程度上,海马和内嗅细胞类型更普遍地存在于整个皮层(Long 和 Zhang,2021),我们认为,这是否反映了 G-SLAM 构成了一个共同的皮层算法,或者这种表达是否是通过涉及 H/E-S 的整合功能在发育过程中诱导的,仍不明确
23、
3.2 作为感觉制造者和价值整合者/实现者的 H/E-S
概念场景之间的切换涉及海马活动的加速,随后随着新的意义构建框架的建立,大脑皮层发出高频信号(de la Prida,2020;卡利米·阿巴达奇等人,2020 年;奥卡拉汉等人,2021 年)。理论上,这些事件(可能伴随有尖锐的波纹)将代表在相关的空间/范围上新的网格/位置平铺/映射/绘图的形成,但是其中足够的功能被跨重新映射携带,用于跨情节的信息集成。
虽然重新映射的精确条件可能会因多种条件而异,但总体预测误差的程度似乎是一个可靠的触发因素,因为在一项实验中,参与者被提示从记忆中检索熟悉的复杂房间图像,然后呈现相同或修改的图片(Bein 等人,2020 年);在这项研究中,变化的数量导致 CA1-CA3 连接性降低(潜在地表明海马内循环活动减少)和 CA1-内嗅连接性增加。另一项研究一致发现,在建立新的事件边界方面,对奖励预测误差的敏感性(鲁哈尼等人,2020)。更普遍的显著性对映射的稳定性的类似影响通过研究提出,其中 H/E-S 显示出对与杏仁核的相互作用和对恐惧刺激的 反 应 的 敏 感 性 (Chen 等 人 , 2019) , 以 及 基 于 注 意 力 / 期 望 的 编 码 调 制 (Mack 等人,2018,2020;Urgolites 等人,2020 年)。将连续展开划分为离散的时期提供了另一种方法,通过这种方法,抽象现象(如时间)可以由 H/E-S 概念化(除了它们的空间化之外,可能作为一种对低维流形的多维缩放,可以通过虚拟导航或想象的视觉觅食进行检查(Ramachandran 等人,2016))。
24、
值得注意的是,H/E-S 可能不仅对奖励敏感,而且可能有助于提供驱动阶段性多巴胺的预测误差的主要来源(Mannella 等人,2013;巴拉德等人,2019;Jang 等人,2019;Laubach 等人,2020),可能涉及海马子场之间的内部对比,并且整体预测误差通过输出到下托进一步整合(Tingley 和 buzáki,2018;Canto 等人,2019)。这可能允许不仅关于来自内侧前额叶皮质的皮质预测,而且甚至关于隔的稳态调节核的目标的异态优先化(Tingley 和 buzáki,2018; Kunz 等人,2019;利夫尼等人,2020 年)。H/E-S 对动机状态的重要性也通过其影响情绪的内感受成分的能力得到证明(Edwards-Duric 等人,2020),这可能在帮助驱动反事实模拟方面具有进一步的(循环)因果意义,潜在地可理解为通过值空间的情感渠道化马尔可夫链蒙特卡罗树搜索 (Dohmatob 等人, 2020;Hesp 等人, 2020 年;Parascandolo 等人, 2020 年;赛峰,2021b)。
25、
H/E-S 动力学的这种情感影响的一些证据可能在跑步机跑步期间半球间相位耦合(δ 范围相干性)增加的研究中找到(Furtunato 等人,2020),这可能对应于指示机体显著性的生物物理信号驱动增加的时期。至关重要的是,H/E-S“奖励”的来源可能不仅仅是形式上述目标实现的外在价值,但也可能是由新信息的内在价值驱动的,因为海马可以作为皮层层次结构的顶端 提供 预测误差的天然整合者 (Hawkins 和 Blakeslee,2004;曼内拉等人,2013 年;Fonken 等人,2020 年)。虽然海马和腹内侧前额叶皮层通常可以一起工作来估计期望值(或自由能最小化的机会),但它们也可以在各自的信息增益和偏好满意度方面作为半独立的值信号。从理论上讲,H/E-S 及其腹内侧前额叶合作者在伏隔核上的会聚,以及黑质运动多巴胺(Mannella 等人,2013 年),可能代表了主动推理作为智力规范账户所规定的内在和外在价值双重优化的物理表现。这种基于异质(基本)值信号的收敛控制是值得注意的,因为越来越清楚的是,H/E-S 不仅仅是一个临时的记忆缓冲区,而是可能构成脊椎动物作为自适应控制论系统的自主功能的主要基础(图 5)。
第四章
26、
27、
28、
29、
如上所述,H/E-S 及其与新皮层的函数关系可以理解为实现一种卡尔曼变分自动编码器(Fraccaro 等人,2017)。在这种情况下,H/E-S 可以为开发高级 SLAM 架构提供灵感。在其作为记忆和控制系统的双重角色中,H/E-S 已被进一步优化,以促进大规模模式(例如有机体状态)之间的比较,这在机器学习术语中可以理解为实现类似于基于能量的对比学习的东西(Marblestone 等人,2016;Richards 等人,2019)。在这种情况下,H/E-S 可以为开发能够参与自我监督学习、反事实建模的架构提供灵感,并进一步实现包括类比结构映射在内的高级推理能力(Gentner,2010;Safron,2019a)、因果推理(Pearl 和 Mackenzie,2018)、想象规划(Kaplan 和 Friston,2018;赛峰,2021b)。
尽管 LatentSLAM 仍在不断完善,但我们相信这些类型的架构为理解思维和大脑的核心元素提供了一个通用框架。事实上,在一个空间化的参考框架内定位某些东西——它本身受到它所映 射 / 绘 制 的 实 体 的 影 响 — — 可 能 意 味 着 “ 理 解 ” 和 “ 解 释 ” 某 些 东 西 (Lakoff 和Johnson,1999),甚至可能意味着体验任何东西(Safron,2020a,2021a,2021b)。也就是说,理解是能够采用一种姿态(或姿势),从这种姿态可以映射(或定位)元素及其相互关系,就好像投影到一个平面上,从而使它们可见以供检查(或导航)。我们相信,这些关于知识本质的词源学考虑可能不仅仅是“单纯的”隐喻,而是可能指向思维的根本体现性质。
30、
我们认为,不仅所有的思想都可以被理解为在组织概念领域内被定位和映射(或绘制)的表征之间导航,而且所有的交流都可以被理解为头脑之间这种结构(如轨迹)的传输(Zurn 和Bassett,2020)。虽然在内省时,认知中广义定位和映射的同时性可能不明显,但当考虑不熟悉的概念时,这种情况更明显。对于这样的新领域,概念和更广泛的组织之间的关系schemas 涉及到与 SLAM 中发现的循环推理相同的挑战。也就是说,当我们第一次试图理解一个概念领域时,我们不知道如何有效地连接那些其共享特征和关系激励组织模式的构建的实体。然而,如果没有这种更高阶的抽象和它们提供的预测(或压缩)能力,就不清楚实体之间的哪些特征和关系与共享结构学习相关。
31、
不管我们达到类别学习高度的特定路线是什么,这种抽象表示的形成可能构成了我们智力中最 强 大 的 方 面 , 就 可 概 括 的 知 识 而 言 , 这 种 知 识 可 以 在 特 定 事 件 中 稳 健 地 转 移(Marcus,2020)。这种抽象的类别进一步考虑到结构化表示的种类,其重要性在(非激进创造的)认知科学和“老式人工智能”的几十年工作中得到强调。鉴于图形网络在几何深度学习(巴塔格利亚等人,2018 年)和符号回归(克兰默等人,2020 年)背景下的出现,这种知识结构的重要性可能会更大。这种图形表示越来越受到人们的关注,因为它们既具有可解释性,又对物理系统建模非常有效。通过我们的节点复制和图形松弛模型,LatentSLAM 提供了一个生物学上合理的和计算上易处理的解释,说明这种认知模式是如何通过经验形成和修改的。值得注意的是,寻找创建和修改图形神经网络(GNNs)的特定结构的原则方法仍然是一个持续的挑战。但是,如果这些挑战可以被克服,那么我们可能会实现神经符号人工智能的承诺,将连接主义的力量与显式表示(和相关)符号的推理结合起来(Garcez 和 Lamb,2020;Greff 等人,2020 年)。
第四章其他部分以作者分析推论为主
参考：
新概率书 Structured Probabilistic Reasoning