建模结构学习的主动推理方法——以概念学习为例

An Active Inference Approach to Modeling Structure Learning: Concept Learning as an Example Case

加新概念，减少冗余，增加泛化

摘要：

在计算神经科学中，结构学习的算法和神经基础仍然知之甚少。概念学习是一个主要的例子，它需要一种内部模型扩展过程（添加新的隐藏状态来解释新的观察结果）和模型缩减过程（将不同的状态合并为一个潜在原因，从而通过元学习降低模型复杂性）。尽管已经在机器学习和认知科学中提出了各种概念学习的算法模型，但由于无法概括、需要非常大量的训练数据和/或未充分建立生物学合理性，许多算法模型在不同程度上受到了限制。

以概念学习为例，我们在主动推理框架及其伴随的神经过程理论中引入了一种用于建模结构学习的新方法，特别是状态空间扩展和缩减。我们的目标是展示其在该领域促进新的主动推理研究的潜力。我们提出的方法基于这样的想法，即生成模型可以配备额外的（隐藏状态或原因）“槽”，当智能体学习新概念时可以使用这些槽。这可以与贝叶斯模型简化过程相结合，在该过程中，与这些槽相关的任何概念学习都可以重新设置，以支持具有更高模型证据的更简单模型。

我们使用模拟来说明这个模型将新概念添加到其状态空间（相对较少的观察）并增加其当前拥有的概念的粒度的能力。我们还模拟了这些过程的预测神经基础。我们进一步表明，它可以完成对新刺激的简单形式的“一次性”泛化。尽管刻意简单，但这些模拟结果突出了主动推理可以为开发结构学习的神经计算模型提供有用资源的方式。它们为未来的主动推理研究如何将这种方法应用于现实世界的结构学习问题并评估它可能提供的附加效用提供了一个模板。

介绍：

具体而言,概念获取可以被视为代理学习(或推断)新的假设(这里称为隐藏的原因或状态)应该被添加到内部或生成模型,用它来解释其环境,因为现有的原因不能解释新的观察结果(例如, 代理可能开始时认为唯一的工具是锤子和螺丝刀,但后来知道还有扳手)。换句话说,隐藏原因空间的结构本身需要扩展以适应新的观察模式。这种模型扩展过程是对贝叶斯模型简化过程的补充(Friston 和 Penny,2011 年),在贝叶斯模型简化过程中,主体可以推断其模型中存在冗余,具有较少状态或参数的 模 型 可 以 提 供 更 简 洁 ( 即 更 简 单 ) 的 观 察 结 果 解 释(Schmidhuber,2006 年;弗里斯顿等人,2017 年 b)。

在学习试验期间,策略空间受到限制,使得代理不能提供口头报告或观察纠正性反馈(即,它所能做的只是在其初始状态下“保持静止”并观察所呈现的特征模式)。这允许代理以无人监督的方式学习概念(即,不被告知真实状态是什么或者它是正确的还是不正确的)。在学习之后,主动报告被启用, 并且 C 矩阵被设置为使代理更喜欢报告正确的信念。我们定义了代理的偏好,使得它更喜欢正确地报告特定类别的知识,而反对不正确的报告。这确保了它只报告鸟和鱼的一般类别,除非对更具体的类别有足够的把握。

我们确认,如果代理已经开始完全了解动物概念(即,完全精确的 A 矩阵),它将100%正确地报告特定类别。在另外的 32 次模拟中,我们还证实,如果代理只具备翅膀和鳃之间的区别的知识(即,通过用平坦分布替换 A 矩阵中对应于从动物到大小和颜色的映射的行),它将在 100%的时间内正确地报告属类,但不会报告属类，这是生成模型的预期和直接的结果——但提供了一个有用的例子,说明代理人如何权衡偏好和不同类型的不确定性。

通过状态空间扩展的概念获取

我们首先检查了我们的模型以两种不同的方式获取概念知识的能力。这包括(1)代理有效地“扩展”(即,填充其状态空间中未使用的列)其状态空间并添加新概念的能力,以及(2)代理在已经拥有更广泛的概念时,增加其概念状态空间的粒度并学习更多具体概念的能力

主体从关于其环境结构的隐含的先验期望(“结构先验”)开始——即,在其可能的观察中可能有多达八个不同的概念类别解释(即,隐藏原因生成)模式。当一个新的动物出现时,代理人必须首先推断这个动物是新的,并在它的状态空间中使用一个未使用的“槽”(即,推断一个嘈杂的、平坦的分布比它所知道的任何当前状态-观察映射更好地解释了新的观察模式),然后通过重复观察学习新的状态-结果偶然事件。因此,当我们使用这个术语时,模型扩展增加了主体使用的隐藏状态的数量,但没有增加状态空间本身的形式维度。

有关这些自由能最小化学习过程的详细信息,请参见(Friston 等人,2016 年)以及图 2 的左图和相关图例。思考这种信念更新过程的一种直观方式是,简单地通过计算概念和观察结果被推断为共现的频率来量化它们之间的关联强度。这与赫宾可塑性和长时程增强的原理完全相同(Brown et al .,2009)。

至关重要的是,在学习过程中,代理人没有被告知哪个状态正在生成它的观察结果。这意味着它必须解决推理和学习问题。首先,它必须推断一个给定的特征组合是否能得到更好的解释

它必须推断给定的特征组合是由现有概念更好地解释，还是由统一预测特征的概念更好地解释。换句话说，它必须确定这些特征与它以前看到的东西有很大的不同，才能为其分配一个新的假设概念。鉴于只有在另一种状态不是更好的解释时才推断出一种新状态，这排除了学习产生相同观察模式的“重复”状态。第二个问题更简单。推断出这些结果是由新事物引起的，

为了进一步评估概念学习,我们还测试了代理成功避免状态重复的能力。也就是说,我们希望确认模型只有在实际呈现给它还没有概念的新动物时,才会学习新的概念。

为了做到这一点,我们为模型配备了八个概念类别中的七个类别的知识,然后重复地让它只接触它已经知道了 80 多次的动物。我们随后让它接触了第八只动物(鹰),在另外 20 次试验中,它还没有这方面的知识。从图 5 中可以看出,在最初的 80 次试验中,“未使用的概念”栏没有被使用(左下角和中间)。

至关重要的是,这些模拟表明,适应性概念学习需要由关于其他概念的现有知识来提供信息,这样,只有当观察结果无法用现有的概念知识来解释时,才应该学习新的概念。在这里,这是通过推理和学习的相互作用来实现的, 因此代理最初必须推断是否将一个观察分配给一个现有的概念,并且只有当这不可能时,才使用“开放槽”来学习一个新概念。

总的来说,这些发现提供了这样一个原理证明,即这种主动推理方案可以纯粹基于(预期的)自由能最小化,以无监督的方式(即,没有反馈)向状态空间添加概念。在这种情况下,它能够从一个完全无信息的可能性分布开始实现这一点。在已经获得更多的基本概念之后,它还可以学习更多的粒度概念,我们的结果表明,学习粒度概念可以通过首先学习基本概念来促进(例如,在当前常见的教育实践中)。

集成模型扩展和缩减

接下来,我们研究了将上述模拟的有效模型扩展形式与贝叶 斯 模 型 简 化 的 类 似 形 式 相 结 合 的 方 法 (Friston 等人,2017 b)——允许代理调整其模型以适应新的观察模式,同时还排除了不必要的概念复杂性(即过度拟合)。为了做到这一点,我们再次允许代理从上一节中描述的不同动 物 的 2 , 000 次 暴 露 中 学 习 , 但 也 允 许 模 型 学 习其“D”矩阵(即,累积反映初始状态的先前预期的浓度参数)。这允许评估代理的概率信念,即它已经暴露于哪些隐藏状态因子水平(动物)。在不同的模拟中,代理人只暴露于一些动物,而不是其他动物。然后,我们检查了随后的模型简化步骤是否可以恢复模拟过程中出现的动物概念; 删除那些解释手头数据不必要的概念。这个两步过程的成功然后可以许可代理在概念获取之后“重置”不必要的隐藏状态列

这样做将允许那些“储备”状态的最佳能力仅在代理人暴露于真正新颖的刺激时才被适当地使用。因此,与我们的模型扩展过程一样,这个模型缩减步骤并没有正式改变主体状态空间的维度。相反,它防止了代理的“保留”状态的不必要的使用,以便它们只在新的动物真正出现时才被占用

根据可用资源和环境/行为需求,对有机体进行更粗或更细的区分可能更具适应性。还值得注意的是,虽然我们使用了上述术语“正确”和“不正确”来描述用于生成数据的模型,但我们承认“所有模型都是错误的”(Box 等人,2005 年),重要的问题不是我们能否恢复用于生成数据的“真实”过程,而是我们能否对这些数据做出最简单但准确的解释。上面强调的恢复“真实”模型的失败(特别是在只学习了粗粒度表示的情况下)可能反映出,除了用于生成数据的过程之外,还可以使用更简单的方法来恢复。相对于更复杂的模型,这里的简单意味着我们必须在更小的程度上偏离我们先前的信念,以便解释给定模型下的数据。在前一句话中,强调优先这个词的重要性是值得的。这意

概念习得可以允许泛化吗?

概念学习提供的一个重要能力是概括。在最后一组模拟中,我们问我们的概念知识模型是否能解释一般化。为了做到这一点,我们改变了模型,使它不再报告它所看到的,而是必须回答一个依赖于从特定跨类别特征组合中归纳出来的问题。具体来说,模型被展示给特定的动物,并被问到:“这能从远处看到吗?”这个问题的答案取决于大小和颜色,因此只有色彩丰富的大型动物的答案是肯定的(即假设小型或灰色动物会与天空或水融为一体而被错过)。

一个理论上的优势对应于将这种类型的结构学习作为贝叶斯模型选择的实例的简约性。当与主动推理框架的其他方面整合时,这意味着知觉推理、主动学习和结构学习都是同一原则的表达;即在三个不同的时间尺度上最小化变化的自由能。从这个角度来看,结构学习特别有趣,因为它既发生在个体的一生中,也发生在自然选择的更长时间尺度上;它通过在需要替代模型的表型中进行选择来实现一种结构学习。它还强调了这些嵌套的时间尺度在个体一生中的重要性,因为主动学习必须通过重复感知行动的后果来进行,而结构学习必须通过以下方式进行 : (1)积累证据,证明一个人已经学会的状态-结果映射不足以解释新的观察结果(需要模型扩展),以及(2)使用模型简化来删除主动学习的状态-结果映射,这些映射对于解释过去的观察结果是不必要的。

完整内容请参考原论文：

An Active Inference Approach to Modeling Structure Learning: Concept Learning as an Example Case