谷歌 DeepMind 发布 DNC 升级版，可扩展的稀疏可读写存储器增强计算机 SAM

【新智元导读】谷歌DeepMind最新论文，在此前 DNC 成果的基础上，针对 DNC 无法扩展的问题，提出了一种端到端的可微分储存器读写机制，将其称为 “稀疏可读写存储器增强的计算机” SAM。

谷歌 DeepMind 此前在 Nature 发表论文，提出“可微分神经计算机”（DNC），引起业界讨论纷纷。这不仅是 DeepMind 在顶级期刊 Nature 发表的第三篇论文，同时也由于期刊制度，提交和发布时间间隔相差几乎相差一年（今年 1 月提交，9 月接受，10 月发表）。

因此，虽然 DNC 是开拓性的工作，但由于时间关系已不是 DeepMind 最新成果。实际上，在 DNC 的基础上，他们确实做了改善工作，就是下面这篇不久前发表在 Arxiv 的论文：“Scaling Memory-Augmented Neural Networks with Sparse Reads and Writes”。

其中，DNC 的第一作者 Alex Graves（Hinton 的学生，AlexNet 论文一作）及其他几位主要作者 Greg Wayne、Tim Harley 也在作者当中。可以说，SAM 是 DeepMind 团队在 DNC 基础上的提升。

SAM 比 DNC 强的地方在于“可扩展”，论文作者提出了一种端到端的可微分储存器读写机制，在差不多规模的数据集执行小数据（one-shot）Omniglot 字符识别等任务效率与 DNC 可比，还能扩展到更大的任务上面。

论文：可扩展稀疏可读写存储器增强的神经网络

摘要

结合了外部存储器增强的神经网络能够学习算法从而解决复杂问题。这类模型有望用于诸如语言建模和机器翻译等应用。但是，随着存储量（Memory）的增长，这类模型在时空上的可扩展性则十分有限——限制了它们在真实世界中的应用范畴。在本文中，我们提出了一种端到端的可微分储存器读写机制（end-to-end differentiable memory access scheme），我们将其称为“稀疏可读写存储器”（Sparse Access Memory，SAM）。

SAM 既保留了最初的表征性能，同时在庞大的存储量上训练表现也十分高效。我们在本文中展示了 ASM 达到在空间和时间复杂性的渐近下界（asymptotic lower bounds），并且发现 ASM 用少于 3000 倍的物理内存就实现了比非稀疏模型快 1000 倍速度。SAM 能够在差不多规模的数据库上对一系列合成任务和小数据（one-shot）Omniglot 字符识别任务达到可以差不多的效率，同时还可以扩展到需要10 万个时间步长和存储的任务。此外，我们还展示了如何调试这一方法，使其配适那些保持记忆（memory）间短时关联的模型，比如此前我们提出的可微分神经计算机（DNC）。

通过时间的内存高效反向传播示意图