AGI之 概率溯因推理的高效DL实现

求解瑞文渐进矩阵的神经向量符号架构

迈克尔·赫什，1，2穆斯塔法·泽基利，2卢卡·贝尼尼，2阿布·塞巴斯蒂安，1，a)和阿巴斯·拉希米1，b)

1)IBM Research–瑞士苏黎世市，邮编:8803 Ru schlikon。

2)瑞士苏黎世联邦理工学院信息技术与电气工程系。

摘要：

无论是深度神经网络还是符号人工智能都无法单独达到人类表达的那种智能。这主要是因为神经网络无法分解联合表示以获得不同的对象(所谓的绑定问题)，而符号AI则遭受穷举规则搜索等问题。这两个问题在神经符号人工智能中仍然很突出，神经符号人工智能旨在结合这两种范式的最佳之处。在这里，我们表明，这两个问题可以通过我们提出的神经向量符号体系结构(NVSA)来解决，方法是利用其在高维分布式表示上的强大算子，该高维分布式表示充当神经网络和符号人工智能之间的公共语言。通过求解瑞文渐进矩阵数据集，验证了NVSA的有效性。与最先进的深度神经网络和神经符号方法相比，NVSA的端到端训练在RAVEN和I-RAVEN数据集上分别达到了87.7%和88.1%的平均准确率。此外，与神经符号方法中的符号推理相比，在分布式表示上具有较低开销操作的NVSA的概率推理快两个数量级。我们的code可从以下网址获得 https://github.com/IBM/neuro-vector-symbolic-architectures。

https://arxiv.org/abs/2203.04571

概率溯因推理的计算高效、可区分和透明的实现

允许应用VSA算子来实现一阶逻辑规则，例如属性值的相加或相减、分布等等

在VSA中，从原子到复合结构的所有表现都是相同的固定维度的高维全息向量。可以使用一组明确定义的操作，包括绑定、解绑定、捆绑(即加法叠加)、置换、逆置换和关联记忆(即清除)，以各种方式组合、分解、探测和变换VSA表示。这种组合性和透明性的特征使得VSA能够用于类比推理

介绍：

人类的流动智能是抽象思考和推理的能力，并在一个新的领域做出推论。瑞文渐进矩阵(RPM)1测试已被广泛用于评估流体智力和抽象推理2，3。RPM是一种非语言测试，包括感知模式的延续、元素的抽象，以及基于潜在规则寻找抽象元素之间的关系。每一个RPM测试都是一个类比问题，以3×3的图像矩阵的形式呈现。矩阵中的每个面板都根据特定规则填充了几个几何对象，最后一个面板除外，它是空白的。参与者被要求通过从一组匹配隐含规则的候选答案面板中挑选正确答案来完成矩阵中的缺失面板(参见方法和补充图1c)。解决这个测试主要涉及两个方面的智力:视觉感知和抽象推理。

感知如何与推理相结合，以及它们如何相互作用，在人工智能体系结构的范围内变化很大。在光谱的一端，在深度学习架构4–12中，感知具有首要地位，推理更有可能适应表示，反之亦然。在光谱的相反端，在经典的符号人工智能中，感知表示被预先设计成例如强调关系，而不是作为推理过程的结果产生的表示。事实上，有人认为构建适当的表征是推理过程的一部分13。神经符号架构通过利用两端的技术进一步丰富了可能性的范围:它们将子符号(如神经网络)与符号人工智能方法相结合，旨在达到人类水平的概括14-17。已经投入了相当大的努力来整合这两个目标，这导致了神经符号架构在各种任务中的最新性能，例如，视觉问题回答18-21、因果视频推理22和求解RPM23，24。然而，所得到的神经符号体系结构不能避免其个别成分(即，神经和符号部分)的潜在问题，这将在下文中解释。

我们首先解释神经网络中的绑定问题25，它指的是神经网络无法从它们的联合表示中恢复不同的对象。这种能力的缺乏使得神经网络无法对现实世界的物体或情况进行充分的描述，而这些物体或情况可以用分层和嵌套的组合结构来表示26。当我们考虑完全本地表示时，任何复杂度级别的项目都可以由单个单元来表示，例如，由一位热码来表示。这种局部表示将可表示项目的数量限制为池中可用单元的数量，因此不能表示现实世界对象的组合变化。为了解决这个问题，分布式表示可以提供足够的容量来表示数量不断增长的组合项目。然而，他们面临着另一个被称为“叠加灾难”的问题27，28。让我们考虑四个原子项目:红色、蓝色、正方形和三角形。为了表示两个复合对象，例如红色正方形和蓝色三角形，对应于它们的原子项目的活动模式被叠加，而不增加维度。如图1a所示，这导致混合模式不明确，因为

所有四个原子项目的模式是共同激活的，这导致对不可用对象(如红色三角形或蓝色正方形)的“幽灵”或“虚假”记忆。作为一种常见的做法，为了绕过这个问题，神经符号架构采用两个互补的网络(例如，掩码R-CNN后跟ResNet-34)能够明确地从图像中的多个对象提取项目属性18–21。第一个网络(Mask R-CNN)为所有对象生成分段建议，使得每个对象可以由另一个网络单独处理。接下来，为与原始图像配对的每个单个对象生成的边界框被发送到第二网络(ResNet-34 ),用于提取所有属性。然而，这种具有多个网络的方法增加了权重的数量。

神经符号架构的第二个要素是用于逻辑推理的符号引擎。为了解决RPM测试，符号逻辑推理被实现为概率推理23，其可以被视为在由先前背景知识定义的空间中搜索解决方案。关于规则的背景知识通过描述所有可能控制RPM测试的规则实现以符号形式表示2。然后，推理过程可以通过对这些符号的彻底搜索来解决，以揭示规则的概率分布。穷举搜索的计算复杂度随着RPM面板中对象数量的增加而快速增加。实际上，这种穷举搜索问题阻碍了符号逻辑推理在端到端训练和实时推理中的应用。

我们的目标是通过利用向量符号体系结构(VSA)29–33来解决上述两个问题。VSA是一种计算模型，它依赖于高维分布式向量及其强大运算的代数属性，以整合连接主义分布式表示以及结构化符号表示的优势(参见34，35)。在VSA中，从原子到复合结构的所有表现都是相同的固定维度的高维全息向量。可以使用一组明确定义的操作，包括绑定、解绑定、捆绑(即加法叠加)、置换、逆置换和关联记忆(即清除)，以各种方式组合、分解、探测和变换VSA表示。这种组合性和透明性的特征使得VSA能够用于类比推理36-40，但是这些鼓舞人心的作品没有任何感知模块来处理原始的感官输入。相反，他们假设会有一个感知系统，例如符号解析器，提供支持推理的符号表示。此外，他们的归纳逻辑推理避开了感知中的不确定性，并且只支持RPM中的一种类型的规则:进展规则39，40。

在这里，我们提出了一个神经向量符号架构(NVSA ),其中两个强大的机制，即深度神经网络和VSAs协同组合，共同设计一个视觉感知前端和一个概率推理后端。因此，推理的需求可以驱动适当的知觉表征的构建。这种协同作用允许感知和推理端利用VSA丰富的资源作为通用计算框架来克服上述神经绑定和穷举符号搜索的问题，然而它们可以被端到端地训练。因此，NVSA前端的主要设计目标是将视觉原始感觉输入转换成固定宽度的VSA表示(如图1b所示的嵌套可组合结构)。这是通过训练神经网络的非线性变换来实现的，作为在VSA上进行表示学习的灵活手段。最终的NVSA前端通过有效地将多个对象的原始图像映射到仍然保持感知不确定性的结构VSA表示，解决了神经网络中的绑定问题，尤其是叠加灾难。通过直接应用绑定操作，这些表示可以容易地用于解决视觉类比任务，或者可以用于推断每个个体对象属性的概率质量函数，用于后端的进一步推理过程。NVSA后端将推断的概率质量函数映射到VSA的另一个向量空间，使得穷举概率计算和搜索可以由该向量空间中的代数运算来代替。NVSA后端的设计目标是促进一个可微分的和计算有效的概率推理过程，以支持一组RPM规则。VSA运算提供了分布性和叠加计算，这显著降低了计算成本，从而以生成和实时的方式执行概率推断和执行来预测丢失的RPM面板。

I.NVSA前端:感知

NVSA前端由一个可训练的神经网络和一个VSA机器组成，其代数允许构建适合认知需求的适当感知表示。前端的设计灵感来自于高维VSA表示的表达能力，作为一组对象的符号表示和从神经网络获得的数据驱动表示之间的公共语言。一方面，具有任意复杂性的现实世界对象可以由VSA象征性地描述，例如，具有多个对象的场景可以表示为属性、对象和一组对象的分层嵌套组合结构——所有这些都具有固定宽度的矢量算法，如图1b所示。另一方面，得到的VSA表示也可以作为数据驱动的神经网络的接口，该神经网络的变换层被相应地训练以将场景的原始图像转换成VSA表示(见图2b)。这种新颖的组合将数据驱动的场景表示合并到其描述性符号表示中，以促进下游推理任务，而不会爆炸表示维度，或面临叠加灾难。在下面，我们描述NVSA前端涉及的步骤。

A.定义VSA表示

第一步是定义一个字典，由此可以使用固定宽度的向量来描述原子概念、它们的层次结构以及它们的关系。这些概念是什么可以由认知需求来引导。例如，在求解rpm时，推理过程需要对象属性的概率质量函数，因此字典应该能够通过表达每个对象的属性来提供这种适当的表示，从而满足推理需求。字典的构造可以通过对VSA编码的概念应用VSA运算来完成，如下所述。让我们把对象属性看作原子概念。编码过程开始于为感兴趣的属性随机生成一组码本，例如，一个码本用于颜色(xred，xblue)，另一个码本用于形状(xsquare，xtriangle)。每个码本包含与属性值一样多的原子d维向量。因此，它为单个原子矢量提供了一个象征意义。为了描述具有这两个属性的对象，可以通过绑定两个向量来计算乘积向量w，从每个码本中提取一个向量(见图1b)。为

例如，红色正方形对象表示为w = xred xsquare。原子向量的随机构造和乘法结合的性质产生了唯一的w，其与所有的VSA表示准正交(即不相似)

其他属性及其组合(例如，xblue xtriangle、xblue xsquare或xred xtriangle)。这意味着两个不同对象向量之间的期望余弦相似性很可能近似为零。因此，当它们的VSA表示被共同激活时，导致最小的干扰，使得每个物体都可以被恢复(见图1c。)

我们已经展示了如何从基本属性向量中导出对象向量。在层次结构的下一层，我们感兴趣的是以对象为中心的场景定义。这里，我们将场景定义为对象的联合。因此，具有多个对象的场景通过将它们的对象向量捆绑在一起来表示:s = (xred xsquare) (xblue xtriangle)。这

捆绑操作创建多个对象的等权重叠加，并保持相似性；因此，捆绑了

向量s类似于场景中存在的两个对象向量，而不同于系统中的其他向量，如图1c所示。这种相似性保持属性允许捆绑向量与其组成对象向量唯一匹配，这通过设计避免了叠加灾难(例如，sim(s，xred xtriangle) 0)。综上所述，VSA可以建设更高层次

通过组合单个对象的低级符号和更基本的对象符号来表示多个对象的符号

属性，方法是使用它的保维运算符。

接下来，我们说明了适合于求解RPM的先前的2属性到4属性对象的一般化(RPM测试示例在图2a中示出)。类似地，我们为

B.VSA上的神经网络表示学习

为了避免纯符号方法的缺陷和对符号解析器的需要，我们利用在定义的VSA表示(W)上的深度神经网络表示学习，使得分辨率为r的图像面板X Rr×r可以使用具有可学习参数θ的映射fθ被变换和匹配到相应的VSA表示。为此，我们建议使用ResNet-18，受其良好性能7的激励，并将其全连接层连接到字典W，如图2b所示。有了这个接口，最后一个完全连接的层具有输出维度d = 512，以便能够在w上搜索

我们还分析了NVSA前端对一个新对象中的属性值的看不见的组合的推广。虽然我们观察到具有乘法绑定的前端不能推广到属性值的看不见的组合，但是我们通过乘法-加法编码来增强它，可以推广到72%(参见补充注释1b)。然而，基于乘法绑定的编码很好地推广到多个对象的看不见的组合(参见补充注释1c)。重要的是，所采用的乘法编码导致学习强大的感知表示，为解决高级推理任务(如视觉类比)做好准备。我们已经表明，ResNet-18输出端的预测感知表示可以通过绑定操作直接操作，以解决视觉类比任务(A : B :: α : β)。在所研究的任务中，我们考虑在其两个对象集(A : B)之间共享一个或多个关系的源域，以及在其对象集(α : β)之间共享相同关系的目标域。绑定从源域获得的神经网络表示允许仅从单个示例中捕获关系，这可以通过绑定操作的另一应用而应用于目标域中的新环境。见补充说明2。

C.从数据驱动的VSA表示推断概率质量函数

我们在这里描述前端的最后一步。给定一个RPM面板，ResNet-18生成一个VSA查询向量，该向量可以分解为组成对象向量，每个向量都是从属性的唯一组合中导出的。该分解执行归一化字典矩阵W和归一化查询向量q之间的矩阵向量乘法，以获得余弦相似性得分z。由于字典矩阵的结构是已知的，所以我们可以从检测到的索引推断属性，即位置、颜色、大小和类型。基于相似性得分，我们通过边缘化所有属性组合上的所有非负相似性得分和每个对象属性的连续缩放的softmax激活，导出每个对象属性的概率质量函数(PMF ),包括vtype、vsize和vcolor。此外，我们还推导了vexist中一个对象是否出现在给定位置的概率。在推断出对象属性的这些PMF之后，我们推断出面板属性的PMF。我们将所有对象的PMF组合成五个PMF，它们代表位置、数量、类型、大小和颜色

整个面板的分布。这些PMF用P := (ppos，pnum，ptype，psize，pcolor)表示。有关更多详细信息，请参见方法。给定一个RPM测试，我们为八个上下文面板中的每一个获得一组PMF P(I，j ),由它们的行I和列j索引，

和用于每个回答面板的一组PMF P(I ),如图2c所示。该组上下文PMF(P(I，j))形成概率

在后端进一步转换的场景表示，其目标是找到潜在的规则。执行选择的规则，为丢失的面板生成pˇ(3，3)。

II.NVSA后端:推理

在这里，我们描述了NVSA后端，它提供了概率溯因推理的计算高效、可区分和透明的实现。NVSA后端通过利用VSA表示和操作符来重新设计推理，这些表示和操作符允许处理传统的基于符号搜索的推理方法无法解决的大型问题。作为NVSA后端的第一步，从前端推断的PMF被转换成适当向量空间中的分布式VSA表示。接下来，这个向量空间应该允许应用VSA算子来实现一阶逻辑规则，例如属性值的相加或相减、分布等等(参见图3a)。

有效的VSA操作导致计算每个可能规则的规则概率，从中可以选择和执行最可能的规则。后端的这两个主要步骤，以及前端和后端的端到端培训将在下面的小节中描述。

A.概率质量函数的VSA表示

RAVEN dataset7对五个属性(位置、数字、颜色、大小和类型)中的每一个应用单独的规则，这五个属性可以是常数、级数、算术或分布三(参见方法)。这些规则在上下文矩阵中按行应用。基于下游规则，每个属性在其值集之间存在关系时可以被视为连续的，或者在值之间没有显式关系时可以被视为离散的。例如，颜色属性在分配三规则中被视为离散的，而算术规则将其视为连续的。为了使我们的VSA变换通用，我们把每个属性都看作是离散的和连续的，使用适当的表示取决于规则。为了在NVSA后端实现这一点，我们从之前使用的双极性密集表示切换到二进制稀疏分组码41，42。在分数幂编码32的帮助下，这个VSA框架允许表示连续的PMF。二进制稀疏分组码中的基向量是具有κ个非零元素的d维二进制值向量。更具体地说，向量被分成κ个不同的块，这些块恰好包含一个非零元素。二元稀疏分组码中的绑定被定义为分组循环卷积；类似地，解绑定是逐块循环相关。两个向量的相似度是由块数κ归一化的内积之和。两个或多个向量的捆绑是通过逐元素相加来计算的。可选地，捆绑向量可以被稀疏化为每个块仅具有一个非零元素，然而，这导致信息损失。因此，在这项工作中，捆绑是在没有稀疏化的情况下进行的。

在下文中，我们将说明如何将PMF转换成这种VSA格式。中表示属性的PMF

B.基于VSA的概率诱导和执行

C.端到端培训

我们端到端地培训我们的NVSA前端和后端。注意，只有前端的神经部分(即，ResNet-18)具有可训练的参数，而字典(W)和后端中的所有参数(例如，规则表示)被冻结。每个训练RPM示例提供八个上下文面板(X(1，1)，...X(3，2))，八个候选答案面板(X(1)，...，X(8))

基本事实答案y和每个属性r的基本事实规则。首先，我们通过NVSA前端传递上下文面板

并推断P(i，j)；类似地，我们为候选答案面板推断P(i)。使用P(i，j)，我们使用NVSA后端计算每个属性的规则信任度(例如，使用等式(3)和(8)进行算术加法和分配三)。基于规则信念的分布，我们然后对每个属性采样一个动作并执行它，为属性p ' 3，3产生五个概率分布。最后，我们为每个候选答案组j计算P(k)和Pˇ(3，3)中五个概率分布之间的詹森-香农散度(JSD ),并对五个JSD值求和，以获得答案组j的得分。受PrAE23的启发，我们共同最小化基于强化43的损失和额外的辅助损失。强化基于损失将分数上的负交叉熵(解释为奖励函数)与采样动作的对数似然相结合。辅助损失总结了基本事实规则的负对数似然性(见方法)。因此，通过最小化辅助损失，我们训练前端将上下文面板映射到PMF，基于此规则检测产生正确的规则。

III.结果

我们在拉夫EN7、I-拉夫EN8和PGM4数据集上评估了NVSA。首先，我们考虑更多样化的RAVEN和I-RAVEN数据集。图4将分类准确度与纯深度神经网络(SCL44)和神经符号AI (PrAE23)中的最先进模型进行了比较，其中我们使用不同的随机种子对两个模型进行了五次重新训练，并在验证集上使用了具有最高准确度的检查点。每个星座训练一个单独的SCL模型。在RAVEN数据集上，NVSA达到了87.7%的平均准确率，优于SCL 0.5%和PrAE 27.4%。

在RAVEN数据集的答案面板中有一个捷径解决方案(参见方法)。已经表明，深度神经网络可以利用快捷方式模式，例如，当完全不考虑上下文面板(上下文无关)8而专门在答案面板上训练和测试时，CoPINet6实现了更高的准确性。在这点上，通过仅从答案集中的捷径学习，绕过了对上下文矩阵及其底层规则的理解。因此，在测试RPM推理模型45，46时，建议使用I-RAVEN数据集8，它提供了无偏见的公平答案面板。NVSA在I-RAVEN数据集上也达到了最高的平均准确率(88.1%)，而大多数深度学习方法4–7，47都面临着较大的准确率下降，平均准确率低于50%。我们的NVSA在从RAVEN切换到I-RAVEN时不会面临任何准确性下降，因为它不能依赖于这样的设计捷径:基于最大可能规则，它首先预测空面板的PMF，然后将其与回答面板的每个PMF进行单独比较。NVSA的可控性和可解释性对于需要它的问题来说是一个很大的优势。NVSA在I-RAVEN上的表现也明显优于SCL，平均高出4.2%，PrAE高出17.0%。扩展的表二和表三以表格形式提供了与最新方法的详细比较。

接下来，我们通过提供真实属性值来比较NVSA后端和PrAE推理后端的准确性和计算时间。如表1所示，与其他星座相比，PrAE推理后端在2x2网格、3x3网格和out-in网格中达到相对较低的准确度(94.21%–95.68%)。我们确定这三个星座中低精度的根本原因是通过应用限制以获得更快的执行而在穷举搜索中进行的近似。我们从PrAE中删除这些搜索限制，并创建一个无限制的PrAE。这将这三个星座的准确率提高到97.5%-99.22%。虽然无限制PrAE的计算时间对于大多数配置来说保持相似，但对于3x3网格来说，它会迅速增加，需要15，408分钟(10.7天)，而不是以前在PrAE中使用限制搜索来解决2000 RPM测试所需的648分钟(10.8小时)。请注意，我们在CPU上运行实验，因为无限制的PrAE需要超过53 GB的内存，这不适合提供32 GB内存的GPU(请参见方法)。然而，我们的NVSA推理后端有效地解决了这个瓶颈:它将3x3网格上的计算时间减少到63.2分钟，比无限制的PrAE快244倍，内存需求< 10 GB，同时保持高

准确率(96.89%对97.50%)。此外，我们证明了我们的NVSA的前端和后端可以进行端到端的训练，实际上可以在任何星座中进行，并且它为解决RPM测试提供了实时推理(参见补充视频)。

此外，我们还在PGM数据集4上评估了NVSA，这是第一个针对该数据集的神经符号方法，而其他神经符号方法23，24仅针对RAVEN/I-RAVEN数据集。NVSA达到了68.3%的平均准确率，与复制的最先进的MRNet具有很强的竞争力。详见补充说明5。

最后，我们展示了我们的NVSA对于I-RAVEN数据集中不可见的属性-规则对的分布外泛化能力。更具体地，我们评估我们的模型是否能够解决包含看不见的目标属性-规则对(例如，类型属性上的常数规则)的任务，当它已经在包含除了特定目标属性-规则对之外的所有属性-规则对的例子上被训练时(例如，大小和颜色上的常数规则，所有属性上的进展规则，以及

在所有属性上分布规则)。在所有看不见的属性-规则对中，我们的NVSA远远超过基线(EN5和复制6)(见补充说明4)。

IV.讨论

NVSA前端允许表达比向量空间中的维度更多的对象组合。然而，它需要在字典W上存储和搜索。给定W中表示的准正交性，通过潜在地利用非线性动力系统中的VSA算子，它可以被一组更小的码本代替。一个强有力的例子是谐振器网络48、49和它们的随机非线性变量50，它们能够以迭代的方式快速分解乘积矢量，从而在分解目标矢量时减少对字典的计算/存储需求。

联想记忆搜索是NVSA在感知和推理中估计PMF的中心成分。为了降低关联存储器的计算复杂性，一个值得注意的选择是使用以模拟方式执行搜索的存储器内计算。最近的研究表明，关联存储器可以通过基于新兴非易失性存储器交叉阵列的模拟内存计算来实现51–54。除了改进计算密度和能量效率，这为将关联存储器的时序复杂度降低到O(1)铺平了道路。其他常见的原语，如绑定和捆绑，也可以从低功耗硬件实现中受益55。

通过准确有效地解决RPM测试，我们证明了NVSA通过向感知和推理添加基于VSA的高维分布式表示和运算符的独特的矢量化味道，增强了感知和推理。在提议的NVSA前端中，我们利用了高维VSA表示，而不是简单的对象本地或分布式表示。通过绑定其属性向量，多属性含义在结构上被分配给每个对象向量，这些属性向量可以被进一步捆绑以创建表示多个对象的复合向量——所有这些都在显著低于组合属性的固定维度中。这些结构化表示被用作训练深度神经网络的目标向量。训练可以端到端地进行，或者当属性标签可用时，通过使用附加交叉熵损失来进行。能够训练这种深度转换允许在视觉场景中同时推断多个对象的多个属性，而不会爆炸表示维度，也不会面临叠加灾难。在NVSA后端，我们提出了一种计算高效且可微的推理，其中离散或连续属性的概率质量函数被表示为VSA表示。这允许使用VSA算子来有效地实现规则，由于VSA的分布性和叠加计算，大大节省了计算成本。因此，时间/空间计算的复杂性分布三

规则搜索从O(n3)减少到O(n)，导致执行时间缩短了两个数量级。事实表明

NVSA的平均准确率达到87.7%，超过了纯深度学习10和神经符号23的最新水平

拉夫EN7和I-拉夫EN8数据集中的88.1%。NVSA还在CPU上实现了实时执行，比功能相当的符号逻辑推理快244倍。

NVSA是将不同的人工智能范式封装在一个统一的框架中，以解决涉及感知和更高级推理的任务的重要一步。