通过概率溯因和执行进行抽象时空推理

http://wellyzhang.github.io/blog/2021/03/13/PrAE/

https://arxiv.org/pdf/2103.14230.pdf

https://github.com/WellyZhang/PrAE

AGI之 概率溯因推理超越人类水平 先导论文

一、简介

虽然“用图片思考”或时空推理对于人类来说是毫不费力且即时的，但事实证明，这种重要的能力对于当前的机器视觉系统来说尤其具有挑战性。最近对该问题的计算研究主要集中在严重依赖这种“图画思维”能力的抽象推理任务——瑞文渐进矩阵（RPM）。在此任务中，要求受试者选择最适合不完整图形矩阵的正确答案，以满足隐藏的管理规则。解决类似 RPM 的问题的能力被认为对于生成和概念化多步骤问题的解决方案至关重要。它还被认为是关系和类比推理的特征，也是一个人流体智力的指标。

结合对比机制和感知推理的最先进算法在准确性方面取得了不错的性能。然而，随着深度模型准确性的提高，对其透明度、可解释性、泛化性和整合知识难度的批评也随之而来。在没有明确区分感知和推理的情况下，现有方法使用整体模型来学习相关性，牺牲透明度和可解释性以换取性能的提高。此外，如实验所示，深度模型几乎总是过度适应训练机制，并且无法正确泛化。这一发现与 Fodor [ 1 ] 和 Marcus 的 [ 2 , 3]一致] 假设人类水平的系统泛化能力与经典神经网络很难兼容；马库斯假设应该招募神经符号架构来实现人类水平的泛化。

现有方法的另一个缺陷是缺乏自上而下和自下而上的推理：人类推理应用生成过程来推断规则并执行它们以合成心中可能的解决方案，并有区别地从选择中选择最相似的答案。这种双向推理与仅能够做出分类选择的仅判别模型形成鲜明对比。

心理学家还呼吁RPM中的弱属性监督。由于孤立的亚马逊小孩缺乏原始属性的教育，仍然可以正确地解决 RPM [ 4 , 5 ]，理想的计算对应物应该能够在没有视觉属性注释的情况下学习它。这种弱监督的设置带来了独特的挑战：如何在仅给出真实图像的情况下共同学习这些视觉属性？感知存在不确定性，如何从中推断出隐藏的逻辑关系？对不准确的感知执行符号逻辑来得出答案怎么样？

为了支持跨配置泛化和答案生成，我们在应对挑战的同时，进一步朝着具有明确逻辑推理和类人生成问题解决能力的神经符号模型迈进。具体来说，我们提出概率绑架和执行（PrAE Probabilistic Abduction and Execution (PrAE) ）学习者; 其核心是概率场景表示的绑架和执行过程。受到 Fodor、Marcus 和神经符号推理的启发，PrAE 学习器将之前的整体过程分解为两个独立的模块：神经视觉感知前端和符号逻辑推理后端。神经视觉前端基于基于对象的表示进行操作，并预测其属性的条件概率分布。然后，场景推理引擎聚合所有对象属性分布，为后端生成概率场景表示。符号逻辑后端从表示中推断出通过逆动态控制时间排序序列的隐藏规则。执行引擎执行规则生成以概率规划的方式表示答案，而不是直接在候选者中进行分类选择。最终选择是根据生成的预测与给定候选之间的差异来选择的。整个系统通过交叉熵损失和课程辅助损失进行端到端训练，没有任何视觉属性注释。

PrAE中的独特设计连接了感知和推理，并提供了几个优点:(I)利用中间概率场景表示，神经视觉感知前端和符号逻辑推理后端可以针对不同的任务域进行交换，支持更大程度的模块重用和组合泛化。(二)代替混合感知和推理到一个没有任何显式推理的整体模型中，概率溯因为逻辑表示上的推理提供了更可解释的解释。它还提供了对感知和推理的更详细的分析。(三)概率执行许可要集成到系统中的生成过程。符号逻辑约束可以由执行引擎转换成正向模型[28]并以概率方式应用来预测最终的场景表示，这样整个系统可以通过综合分析来训练。㈣维护概率分布带来的不是做出确定性的决策或抽取有限的样本在额外的鲁棒性和容错性，并允许梯度易于传播。

主要贡献有三点:(1)提出了概率推理和执行学习器。与以前的方法不同，PrAE学习者将感知和推理从一个整体模型中分离出来，推理过程是通过对概率场景表示的推理和执行来实现的。溯因过程对感知结果进行可解释的推理。执行过程给学习者增加了一种生成的味道，使得系统可以在没有任何视觉属性注释的情况下以综合分析的方式被训练。

(ii)我们的实验表明，PrAE学习器在RPM的交叉配置泛化任务中取得了比现有方法更好的泛化结果。我们还展示了PrAE学习者能够通过渲染器为RPM问题生成答案。(iii)我们对感知和推理的内部功能进行了分析，为PrAE提供了一个可解释的解释。

2. PrAE 学习者

2.1 概述

所提出的神经符号 PrAE 学习器将之前的整体视觉推理分解为两个模块：神经视觉感知前端和符号逻辑推理后端。前端使用 CNN 提取对象属性分布，随后由场景推理引擎聚合以生成面板属性分布。面板中所有面板属性分布的集合称为其概率场景表示。后端检索这个紧凑的场景表示并执行逻辑溯因和执行，以便以生成方式预测答案表示。根据预测与每个候选者之间的差异做出最终选择。使用REINFORCE，整个系统在没有属性注释的情况下进行训练以课程方式；有关 PrAE 的概述，请参见图 1。

2.2 神经视觉感知

神经视觉感知前端在 16 个面板中的每一个上独立运行，以产生概率场景表示。它有两个子模块：对象CNN和场景推理引擎。

2.2.1 对象CNN

给定一个图像面板我，滑动窗口遍历其空间域并将每个图像区域输入 4 分支 CNN。4 个 CNN 分支使用相同的类似 LeNet 的架构，并生成对象属性的概率分布，包括客观性（图像区域是否有对象）、类型、大小和颜色。值得注意的是，类型、大小和颜色的分布取决于客观性的真实性。每个图像区域的属性分布被保存并发送到场景推理引擎以产生面板属性分布。

2.2.2 场景推理引擎

场景推理引擎接收对象 CNN 的输出，并通过边缘化对象属性分布集（针对客观性、类型、大小和颜色）来生成面板属性分布（针对位置、数量、类型、大小和颜色）。取面板属性数字举个例子：给定氮目标 CNN 产生的客观概率分布氮图像区域，面板具有的概率�对象可以计算为

略；

将推理设计为概率推理和执行是RPM中类似人类推理的计算和可解释的对应物.通过溯因推理，人们可以从语境中推断出潜规则。通过执行所展示的规则，可以获得概率答案表示。将这种概率表示与所有可用的候选进行比较；根据散度选择最相似的一个作为最终答案。

4结论

我们提出概率绑架和处决（PrAE）Raven 渐进矩阵 (RPM) 中的时空推理学习器将问题解决过程分解为神经感知和逻辑推理。虽然现有的 RPM 方法仅仅是判别性的，但所提出的 PrAE 学习器是生成模型和判别模型的混合体，在类人、自上而下、自下而上的双向推理过程中闭合循环。在实验中，我们表明 PrAE 学习器在 RAVEN 和 I-RAVEN 上的跨配置泛化任务中取得了最佳性能。PrAE 学习器的模块化设计还允许我们探讨感知和推理在解决问题过程中如何独立工作。最后，

然而，所提出的 PrAE 学习器也有局限性。正如我们的实验所示，概率溯因可能是一把双刃剑，因为当对象数量增加时，多个对象的不确定性会累积，使得整个过程对感知性能敏感。此外，完全概率边缘化给计算可扩展性带来了挑战；它阻止我们在更复杂的配置（例如 3x3Grid）上训练 PrAE 学习器。一种可能的解决方案可能是离散的绑架过程。然而，共同学习这样一个系统并非易事。学习者也很难基于较低级别的基元（例如线和角）进行感知和推理。虽然从理论上讲，线条和角点的通用检测器应该能够解决这个问题，实践中不存在性能良好的系统，除了那些具有严格的手工检测规则的系统，这些规则会错过整个框架中的关键概率解释。PrAE 学习器还需要有关底层逻辑关系的强大先验知识才能工作，而理想的方法应该能够自行归纳隐藏规则。尽管精确的归纳机制对人类来说仍然未知，但一种新兴的双层优化计算技术可能能够将感知和归纳一起纳入一个通用的优化框架中。而理想的方法应该能够自行归纳出隐藏的规则。尽管精确的归纳机制对人类来说仍然未知，但一种新兴的双层优化计算技术可能能够将感知和归纳一起纳入一个通用的优化框架中。而理想的方法应该能够自行归纳出隐藏的规则。尽管精确的归纳机制对人类来说仍然未知，但一种新兴的双层优化计算技术可能能够将感知和归纳一起纳入一个通用的优化框架中。

当我们回答有关 RPM 中的泛化和生成的问题时，仍有一个关键问题需要解决：如何将从其他领域学到的感知转移并用于解决这一抽象推理任务。与人类可以应用从其他地方学到的知识来解决 RPM 不同，当前的系统仍然需要针对同一任务进行培训才能获得该功能。虽然特征迁移对于计算机视觉仍然具有挑战性，但我们预计在回答 RPM 可迁移性方面取得的进展将有助于解决类似问题并进一步推动该领域的发展。

后续改进：

AGI之 概率溯因推理超越人类水平