谷歌 DeepMind 发布 DNC 升级版,可扩展的稀疏可读写存储器增强计算机 SAM

【新智元导读】谷歌DeepMind最新论文,在此前 DNC 成果的基础上,针对 DNC 无法扩展的问题,提出了一种端到端的可微分储存器读写机制,将其称为 “稀疏可读写存储器增强的计算机” SAM。

谷歌 DeepMind 此前在 Nature 发表论文,提出“可微分神经计算机”(DNC),引起业界讨论纷纷。这不仅是 DeepMind 在顶级期刊 Nature 发表的第三篇论文,同时也由于期刊制度,提交和发布时间间隔相差几乎相差一年(今年 1 月提交,9 月接受,10 月发表)。

因此,虽然 DNC 是开拓性的工作,但由于时间关系已不是 DeepMind 最新成果。实际上,在 DNC 的基础上,他们确实做了改善工作,就是下面这篇不久前发表在 Arxiv 的论文:“Scaling Memory-Augmented Neural Networks with Sparse Reads and Writes”。

其中,DNC 的第一作者 Alex Graves(Hinton 的学生,AlexNet 论文一作)及其他几位主要作者 Greg Wayne、Tim Harley 也在作者当中。可以说,SAM 是 DeepMind 团队在 DNC 基础上的提升。

SAM 比 DNC 强的地方在于“可扩展”,论文作者提出了一种端到端的可微分储存器读写机制,在差不多规模的数据集执行小数据(one-shot)Omniglot 字符识别等任务效率与 DNC 可比,还能扩展到更大的任务上面。

论文:可扩展稀疏可读写存储器增强的神经网络

摘要

结合了外部存储器增强的神经网络能够学习算法从而解决复杂问题。这类模型有望用于诸如语言建模和机器翻译等应用。但是,随着存储量(Memory)的增长,这类模型在时空上的可扩展性则十分有限——限制了它们在真实世界中的应用范畴。在本文中,我们提出了一种端到端的可微分储存器读写机制(end-to-end differentiable memory access scheme),我们将其称为“稀疏可读写存储器”(Sparse Access Memory,SAM)。

SAM 既保留了最初的表征性能,同时在庞大的存储量上训练表现也十分高效。我们在本文中展示了 ASM 达到在空间和时间复杂性的渐近下界(asymptotic lower bounds),并且发现 ASM 用少于 3000 倍的物理内存就实现了比非稀疏模型快 1000 倍速度。SAM 能够在差不多规模的数据库上对一系列合成任务和小数据(one-shot)Omniglot 字符识别任务达到可以差不多的效率,同时还可以扩展到需要10 万个时间步长和存储的任务。此外,我们还展示了如何调试这一方法,使其配适那些保持记忆(memory)间短时关联的模型,比如此前我们提出的可微分神经计算机(DNC)

通过时间的内存高效反向传播示意图

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【学习】用SPSS绘制质量控制图

控制图(Control Chart)又称管理图,它是用来区分是由异常原因引起的波动,还是由过程固有的原因引起的正常波动的一种有效的工具。控制图通过科学的区分正常...

33050
来自专栏ATYUN订阅号

【业界】IBM称其机器学习库的速度比TensorFlow快了46倍

AiTechYun 编辑:nanan ? IBM声称POWER9服务器和Beastly处理器(GPU)相结合,可以让Google Cloud发生颠覆。 IBM宣...

29540
来自专栏机器之心

前沿 | 新框架SyConn利用卷积神经网络和随机森林阅读神经成像:可识别线粒体和突触等

机器之心原创 作者:Yujia 参与:Joni、Rick R、吴攀 人脑是一个智能而复杂的机器。这种类比在某些方面是准确的,并且在大脑研究领域中提供了一种方法。...

39060
来自专栏大数据文摘

边玩边入门深度学习,我们帮你找了10个简易应用demo

44730
来自专栏ATYUN订阅号

MIT开发新型加密方法,使基于云的机器学习更具安全性

麻省理工学院研究人员设计的一种新型加密方法可以保护在线神经网络中使用的数据,而不会减慢其运行时间。这种方法有望在基于云的神经网络进行医学图像分析和其他使用敏感数...

21430
来自专栏AI研习社

机器学习开发者应该收藏的 DIY 计算机视觉和深度学习项目

受到 Akshay Bahadur 所做伟大工作的鼓舞,在这篇文章中你将看到一些应用计算机视觉和深度学习的项目,包括具体实现和细节,你可以在自己的电脑上复现这些...

18930
来自专栏AI科技评论

动态|99.80%!腾讯优图刷新人脸识别新高度

AI科技评论消息,在国际权威人脸识别数据库LFW上,腾讯优图实验室在无限制条件下人脸验证测试(unrestricted labeled outside data...

45770
来自专栏AI科技大本营的专栏

AI 技术讲座精选:TensorFlow 图像识别功能在树莓派上的应用

【AI100 导读】上周 TensorFlow 1.0 的发布使之成为最有前景的深度学习框架,也在中国 AI 社区中掀起了学习 TensorFlow 的热潮,不...

50780
来自专栏AI科技大本营的专栏

快讯 | 玩游戏玩出一篇论文,清华大学团队获信息检索顶会 SIGIR 最佳学生论文奖

作者|周翔 最近几个月,以《王者荣耀》为代表的游戏受到了各方的攻击,其中以家长和老师的反应最为激烈。不过,玩物真的就一定会丧志吗?清华大学的几位学霸告诉你,玩游...

35870
来自专栏Python数据科学

资源 | 致深度学习的入门者与小白的一份学习清单

本篇文章是基本按照学习的先后顺序进行写的。具体的入门方式取决于你已经掌握的知识。要理解并应用深度学习,必须先掌握线性代数、微积分和统计学,还应当具备编程及机器学...

14310

扫码关注云+社区

领取腾讯云代金券