自注意联想记忆 Self-Attentive Associative Memory 代码

CreateAMind

发布于 2023-09-01 08:15:38

2490

发布于 2023-09-01 08:15:38

文章被收录于专栏：CreateAMind

github.com/thaihungle/SAM

摘要

迄今为止，具有外部记忆的神经网络局限于具有记忆相互作用的有损表示的单个记忆。记忆片段之间关系的丰富表现促进了高阶和分离的关系记忆。在本文中，我们建议将个体经验的存储(item记忆)和它们的发生关系(关系记忆)分开。这一思想是通过一种新颖的自注意联想记忆(SAM)算子实现的。在外积的基础上，SAM形成了一组联想记忆，它们代表了任意记忆元素对之间的假设的高阶关系，通过这些记忆，由item记忆构成了关系记忆。这两个记忆被连接成一个既能记忆又能进行关系推理的单一序列模型。我们使用我们提出的双记忆模型在各种机器学习任务中取得了有竞争力的结果，从具有挑战性的综合问题到诸如几何、图形、强化学习和问题回答的实际测试。

1. 介绍

随着时间的推移，人类擅长记忆物品以及物品之间的关系(Olson等人，2006；Konkel & Cohen，2009年)。许多神经认知研究表明，这种惊人的能力主要归因于嗅周皮层和海马，这两个脑区分别支持item记忆(例如，物体、事件)和相对记忆(例如，物体的位置、事件的顺序)(Cohen等人，1997；巴克利，2005)。相对记忆理论认为，在任意item之间存在着关键关系的表征允许推理能力(Eichenbaum，1993；Zeithamova等人，2012年)。目前还不清楚hippocampus如何以巧妙的方式选择存储的item来揭示它们隐藏的关系并形成关系表示。

人工智能的研究集中在用递归神经网络(RNNs)设计基于item的记忆模型(Hopfield，1982；埃尔曼，1990；Hochreiter & Schmidhuber，1997)和记忆增强神经网络(MANNs) (Graves等人，2014；2016;乐等，2018a2019).这些存储器支持对以前看到的item的长期检索，但缺乏明确的机制来表示存储器组成部分之间的任意关系。最近，通过启用记忆-记忆互动，进一步尝试培养关系建模，这对关系推理任务至关重要(桑托罗等人，2017；2018;瓦斯瓦尼等人，2017)。然而，还没有人试图明确地将item记忆和关系记忆联合起来建模。

我们认为，单一系统中的双重记忆对于解决既需要记忆又需要关系推理的问题至关重要。考虑这样的图形，其中每个节点都与多种功能相关联——例如道路网络结构，其中每个节点都与不同的功能相关联:图1中的节点是建筑物地标，图2中的节点是植物区系细节。这里的目标是推理结构并输出节点的相关特征，而不是指向节点的指针或索引。学习输出相关联的节点特征使得能够推广到全新的特征，即，模型可以被训练以生成具有建筑物地标的导航路径(图1)，并且在生成具有植物地标的导航路径(图2)的全新环境中被测试。如果模型将特征和结构分别存储到它的item和关系存储器中，并且使用在训练期间获得的规则在两个存储器上推理，这可以实现。

另一个需要item和关系记忆的例子可以通过合并第n个最远的(桑托罗等人，2018)和联想回忆(格雷夫斯等人，2014)任务来理解。第n个最远的需要关系内存来将表示索引的固定的独热编码重新转换为第n个最远的item，而联想回忆返回item本身，需要item记忆。如果这些任务被组合成关系联想回忆(RAR)——从查询中返回第n个最远的item(见3.2)，显然item和关系记忆都是需要的。

当前方法的三个局限性是:(I)关系表示通常是在没有存储的情况下计算的，防止在顺序任务中重用预先计算的关系(Vaswani等人，2017；桑托罗等人，2017)，(ii)很少有作品既管理item又管理单一记忆中的关系，很难理解，站在关系推理是如何发生的(桑托罗等人，2018；Schlag & Schmidhuber，2018)，(iii)记忆-记忆关系是粗略的，因为它被表示为点乘法关注度(瓦斯瓦尼等人，2017年)或通过神经网络进行加权求和(桑托罗等人，2017年)。确切地说，前者使用一个标量来度量两个向量之间的余弦距离，而后者仅通过加性相互作用将所有信息打包到一个向量中。

为了克服目前的局限性，我们假设了一个双记忆模型，其中关系记忆与item记忆是分开存在的。为了保持item间关系的丰富表现，关系记忆应该比item记忆更高级。也就是说，关系存储器存储多种关系，每种关系都应该用矩阵而不是标量或向量来表示。否则，关系存储器的容量被降级到item存储器的容量。最后，由于有两个独立的记忆，它们必须相互交流以丰富彼此的表征。

为了实现我们的假设，我们引入了一个新的操作符，它有助于从item存储器到关系存储器的通信。名叫Self的操作，注意联想记忆(SAM)利用了点乘法关注和我们外在的乘法关注。外积是构建高阶关系的关键表征，因为它保留了两个输入向量之间的位级交互，因此具有丰富的表征学习的潜力(Smolensky，1990)。SAM通过两个步骤将二阶(矩阵)item记忆转化为三阶关系表征。首先，SAM从item存储器中解码出一组图案。第二，SAM使用外积关联每一对模式，并将它们相加以形成异联想记忆。

因此，存储器存储跨时间步长累积的存储item之间的关系，以形成关系存储器。

item记忆的作用是随着时间的推移记忆输入的数据。为了选择性地编码输入数据，item存储器被实现为门控自动关联存储器。与先前从关系存储器中读出的值一起，item存储器被用作SAM构建关系存储器的输入。作为回报，

关系记忆通过提炼过程将其知识转移到item记忆中。反向转移触发了两个记忆之间的循环动力学，这对于模拟海马过程可能是必不可少的(库马兰和麦克莱兰，2012)。另一个提取过程用于将关系内存转换为输出值。

总之，我们贡献了一个新的神经记忆模型，称为基于SAM的双记忆模型(STM)，该模型从人脑中item和关系记忆的存在中获得灵感(Konkel & Cohen，2009)。在这种设计中，关系存储器比item存储器高阶，因此需要一个核心运算器来管理从item存储器到关系存储器的信息交换。操作者，即自注意联想记忆(SAM)，利用外积构造一组异质联想记忆来表示任意存储项之间的关系。我们将我们的模型应用于可能需要item和关系记忆的广泛任务:各种算法学习、几何和图形推理、强化学习和问答任务。附录中还对我们提出的模型的特性作了一些分析研究。