代数运算对应于认知运算，广义全息缩减表示 GFHRR

Generalized Holographic Reduced Representations2405.09689v1

广义全息缩减表示 https://arxiv.org/abs/2405.09689

相关两篇：

脑启发全息自适应编码器的超维计算

一个超强学习算法及5大特点

GHRR的强大之处在于其在保留关于其成分的更多信息的同时执行绑定的能力。

代数运算对应于认知运算。例如，捆绑操作对应于记忆，绑定操作对应于关联。在神经表示的背景下，这是一个强大的想法，因为通过使用此类操作，可以建立复杂的表示和数据结构[10-13]，从而将因式分解的结构灌输到表示空间中，这随后可以用于下游任务，例如符号推理 [14, 15]。

虽然 HDC 作为分解和组合表示的神经向量符号框架很有前景，但它的简单性却为其表达能力和编码更复杂结构的能力带来了问题。

介绍了广义全息简化表示（GHRR），它是傅里叶全息简化表示（FHRR）[16, 17]的扩展，它是 HDC 的一种特殊实现。

在保持 FHRR [18] 的内核属性并满足 HDC 表示的基本约束的同时，GHRR 提供了一个灵活的、非交换绑定以及自适应内核的框架，同时通过更好的解码能力和绑定超向量的记忆来改进复杂数据结构的编码。 我们的工作有几个关键贡献：

摘要

近年来，深度学习取得了显著的成功。它成功的核心是它能够学习保留任务相关结构的表示。然而，学习一般表示需要大量的能源、计算和数据成本。

本文探讨了超维计算 （HDC），这是一种计算和数据高效的受大脑启发的替代方案。HDC 充当人工智能 （AI） 连接主义和符号方法之间的桥梁，允许像符号方法一样明确指定表征结构，同时保留连接主义方法的灵活性。然而，HDC 的简单性给编码复杂的组合结构带来了挑战，尤其是在其绑定操作中。

为了解决这个问题，我们提出了广义全息简化表示 （GHRR），它是傅里叶全息简化表示 （FHRR） 的扩展，这是一种特定的 HDC 实现。GHRR 引入了一种灵活的非交换绑定操作，可以改进复杂数据结构的编码，同时保留 HDC 的稳健性和透明度等理想特性。

在这项工作中，我们介绍了GHRR框架，证明了其理论性质及其对HDC性质的坚持，探索了其内核和结合特性，并进行了实证实验，展示了其灵活的非交换性，增强了组合结构的解码精度，并与FHRR相比提高了记忆能力。

1引言

在过去十年的人工智能研究中，深度学习取得了巨大的成功，在分类、图像生成和语言建模等领域找到了应用[1,2,3,4,5]。深度学习成功的核心是它能够学习在数据中保留任务相关结构的表示，这是具有泛化能力的模型的必要组成部分。

事实上，这种对表征质量的依赖反映在预训练模型的普遍使用中，以及最近在基础模型中[ 6]。然而，支撑具有良好表示的深度学习模型是巨大的计算资源和互联网规模的数据，数量级为 TB 甚至更高。

虽然对缩放定律的研究表明，通过继续扩大模型大小、数据量和计算资源，可以进一步提高模型的表示质量[ 7]，但这种方法极高成本、耗时，并且将除最大和最足智多谋的组织之外的所有组织排除在此类模型的开发之外。因此，有必要探索计算和数据效率高的方向，同时具有易于泛化的表示属性。为此，我们求助于大脑寻求灵感。

近年来，超维计算（HDC）或矢量符号架构（VSA）已成为人工智能中一种受大脑启发的计算范式，弥合了连接主义和符号框架之间的差距[8,9]。通过这种方式，HDC 可以充当一个接口，可以像符号方法一样明确指定结构，同时保持连接主义方法（尤其是深度学习）方法的灵活性和功能。

HDC 在高维向量（称为超向量）上形成代数，其运算与认知运算相对应。例如，捆绑操作对应记忆，绑定对应关联。

在神经表征的上下文中，这是一个强大的想法，因为通过使用此类操作，可以建立复杂的表征和数据结构 [ 10， 11， 12， 13]，从而将分解结构灌输到表征空间中，随后可以用于下游任务，例如符号推理 [ 14， 15].

虽然 HDC 作为因式分解和组合表示的神经向量符号框架显示出前景，但它的简单性对其表达能力和编码更复杂结构的能力提出了问题。

特别是，HDC框架的关键是绑定操作，它能够从更简单的部分形成表征复合体，通常被解释为概念的关联或结合。然而，这是有局限性的，因为概念可能彼此之间保持着各种关系，并且可以以多种方式组合。

此外，HDC 中的绑定实现通常是可交换的，因此通常需要应用排列或位置编码等其他技术来对结构进行编码，这会使数据结构的表示复杂化。因此，我们需要一种更灵活、更非交换的绑定操作，更适合对复杂结构进行编码，同时仍然保持 HDC 的其他理想特性，例如透明度、对噪声的鲁棒性和可解释性。

在本文中，我们介绍了广义全息简化表示 （GHRR），它是傅里叶全息简化表示 （FHRR） [ 16， 17] 的扩展，它是 HDC 的一种特殊实现。在保持 FHRR [ 18] 的核属性并满足 HDC 表示的基本约束的同时，GHRR 为灵活的、非交换的绑定和自适应内核提供了一个框架，同时通过更好的解码能力和对绑定超向量的记忆来改进复杂数据结构的编码。

我们的工作有几个关键贡献：

1. 1. 我们介绍了 GHRR 框架，并概述了 GHRR 的特定实现，包括复杂性不断增加的变化。
2. 2. 我们证明了我们对 GHRR 的实现满足 HDC 的基本性质，包括准正交性和绑定操作的相似性保持。
3. 3. 我们探讨了GHRR的内核和结合性质，并将GHRR中的结合解释为FHRR中的结合和张量积表示中的结合之间的插值[19]。
4. 4. 我们对GHRR进行了实证实验，证明了与FHRR相比，GHRR具有灵活的非交换性，提高了组合结构（例如树）的解码精度，并提高了绑定超向量的记忆能力。

2背景

2.1超维计算基础

超维计算 （HDC），也称为向量符号架构 （VSA），是一种受大脑启发的计算框架。

它的动机是观察到大脑中的表征是高维的，由大量神经元的神经激活组成[ 8]。此外，虽然这些群体水平的表征似乎在不同的大脑中高度分布和随机，但它们在高水平上表现出相同的认知特性[20,21]。

HDC 中的基本单元是高维向量，也称为超向量，对应于群体水平的神经激活。超向量 𝐻 存在于某个超空间 𝐻 中，例如， ℝ𝐷 对于 𝐷 大空间。超向量的集合，以及一些运算符，在向量上形成一个代数。通常，有两种类型的超向量：（1）基本超向量，它们是随机生成的，例如; 𝐻∼𝒩⁢(0,𝐼) （2）复合超向量，通过代数算子组合超向量而创建。这些超向量可以通过相似性函数 𝛿⁢(𝐻1,𝐻2) 进行比较。通常，生成基超向量时，它们相对于相似性函数是准正交的。HDC 中的三个主要操作，捆绑、绑定和排列，可以通过它们如何影响超向量的相似性来表征。

我们在下面介绍三个操作：

需要注意的是，上面对 HDC 的描述是一般性的;具有上述属性的 HDC 有各种具体实现。

HDC 框架具有多种优势，包括对超空间噪声的鲁棒性、透明度和并行化。

2.2傅里叶全息简化表示

3GHRR概述

4GHRR的实施

我们在第 3 节中描述的是 GHRR 的一般特征。指定实现需要指定 （1） 酉矩阵分量的形式;以及相关的 （2） 如何对它们进行采样。

4.1所需属性

4.2准正交表示

我们推导出了这些属性成立的充分条件，并在此基础上为 GHRR 表示开发约束参数化。

推论 4.1.1.

4.3对数据进行编码

4.3.1GHRR的内核属性

图3展示了在不同维度上固定与变化的Q值之间的差异，其中顶部和底部的直方图分别展示了当Q在维度上固定和变化时，δ(ϕ1(0), ϕ2(0))的分布。我们观察到通过变化Q，分布更加集中在均值周围。当均值接近零时，这表明使用随机采样的编码，其Q值变化可以默认最小化串扰干扰。另一方面，在Q值可学习的编码方案中，可以更容易地优化Q以展现期望的行为，因为需要优化的参数较少。

4.4 绑定作为全息投影

尽管固定Q1、Q2的两个编码之间的核属性可以简单描述，但GHRR的强大之处在于其在保留关于其成分的更多信息的同时执行绑定的能力。

让我们首先注意到，在FHRR中绑定两个超向量可以被视为取两个超向量的张量积，然后取对角线；即全息投影。在GHRR的情况下，我们可以将GHRR中的绑定视为FHRR中绑定的扩展。特别是，设GHRR编码的有效维度为Dm，假设它是固定的。通过调节m，我们可以在FHRR中的节俭全息投影绑定和相当于取完整张量积的绑定之间进行插值。图4直观地说明了上述FHRR和GHRR中的绑定。

对于固定有效维度，当m最小时，即1，区块对角线就是FHRR中的对角线，而当m最大时，区块对角线就是整个张量积，即如张量积表示[19]中那样。

从神经角度来看，我们可以将两个向量之间的张量积解释为表示维度之间所有可能的成对连接；即它们是完全连接的。

相比之下，张量积的对角线投影代表稀疏连接，只有向量的对应维度是连接的。区块对角线投影则取中间立场，表示由区块划分的邻近维度之间的连接。

5 结果

5.1 非交换性的演示

5.2Q对交换性的影响

5.3嵌套结构的解码精度

为了研究 𝑚 的影响，我们使用与第 5.1 节类似的设置，但会改变编码字典的深度。如果一个值与解码的超向量相比与所有其他值具有最高的相似性，则该值被成功解码。我们使用总维度 𝐷⁢𝑚2 600 绘制 𝑚 了图 7A 中不同深度和值的解码精度。我们观察到，越大 𝑚 ，高解码精度在增加树深度时持续的时间就越长。但是，在给定的树深度之后，整体 𝑚 解码精度也会下降得更快。

在图7B中，我们使用与图7A相同的过程，但将排列操作应用于每个子树编码。有趣的是，我们观察到，随着树的深度增加，解码精度会持续在100%更长时间，但在达到一定阈值后会急剧下降。这与图7A形成鲜明对比，在图7A中，解码精度在之前下降到100%以下，但对于较大的 𝑚 解码精度，解码精度衰减得更优雅。结果表明，使用GHRR对数据结构进行编码可以提供更简单的实现（例如，没有排列），其解码精度会随着数据结构的大小饱和而优雅地下降。

我们假设这是由于排列操作的排他性;即排列将超向量映射到准正交超向量，使解码质量更好。

然而，这也导致树编码的饱和速度更快，导致解码精度急剧下降。 另一方面，GHRR编码本身具有更可调的排他性范围，正如我们将看到的，这与对角线相关，导致超向量具有更大的记忆能力[33]，尽管对于准正交的超向量来说程度较小。

此外，我们还研究了对角线对解码精度的影响。图 8 绘制了不同树深度在不同对角线水平和不同值下的 𝑚 解码精度。8A、8B、8C 和 8D分别对应 0 于 、 1/3 、 2/3 和 1 的对角线。我们观察到，从 0 到 1 的对角线调制使我们能够在类似于 FHRR 编码的解码性能和具有排列的 FHRR 编码之间进行插值。事实上，当对角线为 1 时，我们的 GHRR 编码变得可交换，使其在功能上等同于 FHRR 编码。

另一方面，可以将排列矩阵视为对角线为零（即最大非交换性）;因此，我们可以预期其他对角线为零的矩阵具有相似程度的交换性。这一结果表明，一种解释 𝐐 方法是作为排列操作的灵活版本，该操作调节表示的交换水平。

这一观察结果也解释了图7A中观察到的趋势，其中越大 𝑚 导致解码精度与排列编码的解码精度更相似。如图 6 所示，对于较大的 𝑚 矩阵，我们更有可能对低对角线的矩阵进行采样，这反过来又使编码更加非交换，就像排列编码一样。

5.4GHRR代表的能力

6讨论

7结论

在这项工作中，我们引入了 GHRR 框架，它是 FHRR 的扩展，并提供了该框架的特定实现。

我们证明了GHRR保持了传统HDC表示的理论性质，并提供了准正交性的经验证明。

我们探索了 GHRR 的内核和结合特性，并将 GHRR 中的绑定解释为 FHRR 和张量积表示中的绑定之间的插值。

我们对GHRR进行了实证实验，证明了与FHRR相比，GHRR具有灵活的非交换性，提高了组合结构的解码精度，并提高了绑定超向量的记忆能力。