【Nature 重磅】谷歌 DeepMind 发布可微分神经计算机 DNC，深度学习推理能力或大幅提升

新智元

发布于 2018-03-26 10:05:51

9950

发布于 2018-03-26 10:05:51

文章被收录于专栏：新智元

【新智元导读】谷歌 DeepMind 团队设计了一种叫做可微分神经计算机（DNC）的神经网络模型，结合神经网络与可读写的外部存储器，能够像神经网络那样通过试错或样本训练进行学习，又能像传统计算机一样处理数据，相关论文今天在 Nature 发表。DNC 能理解家谱、在没有先验知识的情况下计算出伦敦地铁两站之间的最快路线，还能解决拼图迷宫。德国研究者 Herbert Jaeger 评论称，这是目前最接近数字计算机的神经计算系统，该成果有望解决神经系统符号处理难题。

谷歌 DeepMind 又放大招：在今天在线出版的 Nature 杂志上，DeepMind 团队发表论文，提出了一种结合神经网络和数字计算机两者最强优势的混合计算系统。

常规计算机（即数字计算机）可以处理复杂形式的数据，但是需要手动编程来执行这些任务。人工神经网络可以像大脑一样的学习，从数据中识别模式，但是人工神经网络缺少存储器架构，无法对结构化数据进行符号处理。

由此，Alex Graves、Greg Wayne、Demis Hassabis 等人开发了一个叫做“可微分神经计算机”（DNC），将神经网络与一个可读写的外部存储器结合起来，这样就克服了神经网络无法长时间保存数据的缺点。

从数学上讲，DNC 类似一个可微分的函数，这也是研究人员称它为可微分的原因。相比之下，数字计算机不可微，因此也无法做到像神经网络一样从数据中学习。

研究表明，DNC 可以成功地理解图形结构，如家谱或传输网络。此外，还能在没有先验知识的情况下规划在伦敦地铁上的最佳路线，解决涉及用符号语言描述目标的移动拼图谜题。

解决结构化数据任务。a. 随机生成的训练用图。b. 伦敦地铁图线路中转站，用作遍历和最短路径任务的泛化测试。随机七步遍历（其示例在中间左边栏）得到 98.8％的平均精度。对所有可能的四步最短路径（中间右栏）测试平均精度为 55.3％。c. 用作泛化推理任务测试的家谱；测试了四步关系（从 Freya 到 Fergus，蓝色虚线表示），平均精度为 81.8％。下图灰色栏中列出了测试期间网络处理的符号序列。

可微分神经计算机，升级版的神经图灵机

德国雅各布大学研究者 Herbert Jaeger 在同一期的 Nature 刊登评论文章《深度神经推理》，称 Graves 等人证明了人工神经网络系统能够学会符号推理的某些重要（non-trivial）、核心内容。此外，“DNC 含有成千上万的可调参数，要训练这样一个系统，需要大量数学、数值和运算资源。直到最近几年，机器学习研究才克服了这些困难。论文作者对 DNC 的训练是深度学习实力的绝佳展示。”

Jaeger 还将 DNC 称为“升级版神经图灵机（NTM）”。NTM 是 DeepMind 在 2015 年提出的模型（第一作者也是 Alex Graves，他是 RNN 之父 Jürgen Schmidhuber 的学生），本质上是一个带有外部存储矩阵的递归神经网络（RNN）。NTM 能够运行很多此前神经网络不能运行的简单算法。例如，NTM 能够学会在存储中储存一段长序列，然后循环，不断重复。在 NTM 这样做的过程中，可以查看它们都是在哪里进行读写，从而更好地理解 NTM 的行为。但是，NTM 不能完成加法、乘法等简单任务。

Graves 和他的同事在这一问题之上又迈出了一步，他们开发了一个神经计算系统，这一系统跟数字计算机有着惊人的类似。

与数字计算机有着惊人相似的神经计算系统

虽然在人类的推理和计算机程序运行之间存在明显的相似之处，但是，我们在理解如何把它们中的任何一个部署于生物或者人工神经网络时，依然缺乏足够知识。关于逻辑推理的一个经典例子是三段论，比如，所有人都是凡人，苏格拉底是人，所以苏格拉底是凡人。不管是古代还是现代的观点中，推理都等同于一种基于规则的、对符号的思维处理，在上面的例子中，“所有”、“人”等都是符号。

但是，人类的大脑是由许许多多的神经元构成的，这些神经元的运转通过敏感的电子脉冲的交换来完成，而不依赖像词语这样的符号。

这种不同导致了著名的科学和哲学之谜，有时候被称为神经符号的（neural-symbolic）集成难题，这一问题至今无解。在发表于 Nature 的这篇论文中，Graves 等人使用机器学习中的深度学习方法，在一个人工神经元系统中，得到了一些关键的符号推理机制。他们的系统能通过从样本中学习符号推理规则解决复杂问题。这一成就被认为有潜力解决神经符号的集成难题。

推理的一个关键前提是记忆。在计算机中，记忆的角色由随机访问内存（RAM）承担。当计算机进行推理，也就是运行程序时，所有的信息都被捆绑在工作的内存中，其结合的方式有许许多多种。把人类的推理过程拿来与计算机程序相比，其实并不牵强。事实上，在现代可编程计算机（图灵机）和亚里士多德的三段论存在严肃的历史联系。阿兰·图灵在他的突破性研究中自称使用了“心理”语言：任何时候，计算机的行为都取决于它观察到的符号以及它在当时的“心理状态”。

DNC 包含了若干个模块，所有的这些模块都完全不是符号化的，彼此之间通过纯粹的模拟激活模型来交换信息流（streams），正如从生物大脑中记录的那样。

系统有两个主要的模块：一个“内存”，由一连串存储单元压缩后组成，每一个存储单元都包含特有的数值，对应一种电压。另一模块是“控制器”，也就是人工神经元网络。控制器可以进入内存中的特定位置，读取其中的信息，再结合输入的数据，写下数值返回给特定的内存位置。这两个模块通过多种方式相互作用，就好像数字计算机中 RAM 与中央处理器单元的运作方式一样。

数字计算机通过执行一个事先写好的程序，完成特定的任务。相反的是，神经系统不能也不需要预先编程，它通过训练来完成。在训练的过程中，系统得到大量的关于这一任务的解决案例，然后系统会小幅度地调整其内部的神经连接，让整个神经网络的反应逐渐接近正确的任务解决方案。

Jaeger 认为，眼下单凭 DNC 无法在逻辑数据挖掘中与最先进的数字计算方法匹敌。但是，一种灵活的、根据 DNC 拓展出来的工作记忆，或许会让深度学习应用拓展到与需要理性推理的大数据领域，比如生成视频评论，或者进行文本语义分析。

“DNC 的前身神经图灵机，显然就极大地刺激了整个深度学习研究界。”

论文：利用神经网络与外部动态存储器进行混合计算

作者：Alex Graves, Greg Wayne, Malcolm Reynolds, Tim Harley, Ivo Danihelka, Agnieszka Grabska-Barwińska, Sergio Gómez Colmenarejo, Edward Grefenstette, Tiago Ramalho, John Agapiou, Adrià Puigdomènech Badia, Karl Moritz Hermann, Yori Zwols, Georg Ostrovski, Adam Cain, Helen King, Christopher Summerfield, Phil Blunsom, Koray Kavukcuoglu & Demis Hassabis，谷歌 DeepMind

摘要

人工神经网络（ANN）十分擅于感觉处理、序列学习和强化学习，但由于缺少外部存储器，ANN 表示变量和数据结构以及长时间存储数据的能力十分有限。在本文中我们提出了一种名叫可微分神经计算机（DNC）的机器学习模型，该模型含有一个能够对外部存储矩阵进行读写的神经网络，这个外部存储矩阵好比传统计算机的随机存取存储器。

就像传统计算机一样，DNC 能使用外存对复杂的数据结构进行表征及操纵，但同时又像神经网络一样，能够从数据中学会这样做。使用监督学习训练后，我们展示了 DNC 能够成功回答人工合成的问题，这些问题都是设计来模仿用自然语言进行推理和推断的。

我们展示了 DNC 能够学会找到特定的点之间距离最短的路线、从随机生成的图当中推断缺少的连接等任务，之后再将这种能力泛化，用于交通线路图、家谱等特定的图。使用强化学习训练后，DNC 能够完成移动拼图的益智游戏，其中符号序列会给出不停变化的游戏目标。综上，我们的成果展示了 DNC 拥有解决复杂、结构化任务的能力，这些任务是没有外部可读写的存储器的神经网络难以胜任的。