【业界】谷歌 DeepMind 的可微分神经计算机 DNC 怎么样?看 Facebook AI 研究员田渊栋、贾扬清怎么说

田渊栋,卡耐基梅隆大学机器人系博士学位、上海交通大学硕士学位和学士学位,前谷歌无人车项目组成员,现任 Facebook 人工智能组研究员,主要负责 Facebook 的智能围棋项目 Dark Forest。

贾扬清,拥有加州大学伯克利分校计算机科学博士学位、清华大学硕士学位和学士学位,曾于新加坡国立大学、微软亚洲研究院、NEC美国实验室、Google Brain工作,现任 Facebook 研究科学家,主要负责前沿AI 平台的开发以及前沿的深度学习研究。

近日,谷歌的 AI 部门 DeepMind 开发了一种叫做可微分神经计算机(DNC)的神经网络模型,相关论文发表于 10 月 12 日在线出版的《自然》杂志上,题为《 利用神经网络与外部动态存储器进行混合计算》。这种新模型将神经网络与可读写的外部存储器结合,既能像神经网络那样通过试错和样本训练进行深度学习,又能像传统计算机一样处理数据。即使没有先验知识,DNC 也可以解决规划最佳路线、拼图任务等小规模问题。

德国研究者 Herbert Jaeger 评论称,这是目前最接近数字计算机的神经计算系统,该成果有望解决神经系统符号处理难题。

斯坦福大学心智、大脑和计算中心主任 Jay McClelland 称,这项研究将成为人工智能领域“有趣且重要的里程碑”。

那么我们究竟该如何看待谷歌 Deepmind 团队最新发布的可微分神经计算机 DNC 呢?果然,已经有人在知乎上提出这个问题。

编者注:该知乎提问中“谷歌deeplearning团队”实际上应该指的是“谷歌Deepmind团队”。

截止发稿前,该问题有两个回答,Facebook 人工智能组研究员田渊栋的回答获得了 44 人赞同。

他认为“革命性突破”言过其实,总的来说不及前两篇 Nature。

这篇文章模型复杂,手工设计太多,实验相对简单,没有在大规模数据集上测试性能,能成功地应用于小规模搜索,但通用化还需要很久。

田渊栋在知乎上的回答,贾扬清进行了回复

贾扬清认为以前主要是手调 feature(特征),而这次的 DNC 实际上是手调网络,他在评论中提到的 Jitendra 应该是加州大学伯克利分校的电气工程与计算机科学系教授 Jitendra Malik

在田渊栋的英文博客上,可以看到更多他对这篇论文的看法,我们首先来看看这篇题为《 Notes on DeepMind's 3rd Nature paper 》的文章。

以下为博文内容:

最近 Deepmind 发表了他们在《自然》杂志上的第三篇论文《 利用神经网络与外部动态存储器进行混合计算》。他们设计了一个递归神经网络结构(深度 LSTM),反复发送新的读/写命令到外部存储器,以及基于先前读取存储器和当前输入得到的动作输出。他们称它为 DNC(可微分神经计算机)。这里希望网络能够基于给定的信息进行推理。他们用实验模型来处理 bAbI 推理任务,网络遍历/最短路径预测,家庭树的关系推理和拼图游戏推理,其性能远远优于没有外部存储器的 LSTM。

这里给出一些评价:

1、总体而言,他们是隐含地学到了基于搜索推理的启发式函数(heuristic function)。正如他们在文章中提到的:“一个基于最短路径训练的 DNC 的可视化结果显示,它会逐步探索从开始到结束的每个节点辐射出的关系,直到找到整个连接路径(补充视频 1)。”我们也可以在伦敦地铁任务(图3)中看到类似的情况。这在小规模搜索的实验中可能是有效的,但在处理真正的问题时不一定是一个很好的策略。

2、似乎网络中的手工调整设计很多。该网络是给外部存储器的下一组操作。外部存储器上有许多类型的操作,组合了各种不同类型的 Attention 机制(基于内容的 Attention 模型,随之而来的写入 Attention 模型,和基于读写的“用法”机制)。不确定哪个组件更重要。理想情况下,应该有一个更自动或更规律的方法。

3、几个有趣的细节:

(1)直接用实际情况的答案训练一个连续结构预测模型,这不是很好,因为当预测偏离了实际观测情况,该模型可能会很容易失败。在本文中,他们在结构预测时使用了混合了实际观测情况分布与当前预测分布 DAgger。这使得预测的鲁棒性很好。

(2)对于拼图游戏来说,他们使用了 actor-critic-like 模型。在这种情况下,DNC 的输出策略和价值功能取决于一开始作为输入的游戏规则。这符合我们训练 Doom AI 的经验,actor-critic-like 模型的收敛速度比Q-learning 快。

(3)课程训练(例如,先从简单的任务开始训练模式)起着重要的作用。这也符合我们训练 Doom AI 的经验(我们很快将发表相关论文)。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-10-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

非主流自然语言处理——遗忘算法系列(一):算法概述

一、前言 ? 这里“遗忘”不是笔误,这个系列要讲的“遗忘算法”,是以牛顿冷却公式模拟遗忘为基础、用于自然语言处理(NLP)的一类方法的统称,而不是大名鼎鼎的“...

37311
来自专栏AI研习社

Mercari Price 比赛分享 —— 语言不仅是算法和公式而已

最近半年一直在忙于各种NLP比赛,除夕因为kaggle的price写到凌晨3点,最后靠rp爬回季军,也算圆了一个solo gold的梦想。这应该是我2017下半...

38912
来自专栏CreateAMind

使用模仿学习攻克Atari最难游戏!DeepMind新论文解读

663
来自专栏CSDN技术头条

Quora 问答:不懂算法却善于开发,如何去大公司工作呢?

题主在很多面试过程中,因不懂基础算法而面试失败。正文的两个回答,分别从两种角度来回答了题主的问题。题目为译者自拟。 ? Jim的回答: 每个人都能有所成就,除...

1975
来自专栏机器之心

观点 | Yoav与LeCun深度学习之争后续:谷歌VP Fernando Pereira谈NLP研究「三幕剧」

选自EarningMyTurns 机器之心编译 参与:机器之心编辑部 近日,著名学者 Yoav Goldberg 发布的一篇批评蒙特利尔大学新论文《Advers...

1966
来自专栏AI研习社

干货!从基础到进阶,长文解析微软量子计算概念和算法(上)

我们谈论的量子计算,是一个完全不同的领域。量子计算让我们能够以秒级、 小时级或者几天的时间去解决那些以现在的技术需要花费上亿年计算的问题,我们完全重新定义了所做...

862
来自专栏大数据挖掘DT机器学习

将机器学习用到算法交易中

假设我有一个问题,我想根据一些人的身高和体重来判断性别。 我有一个数据表,数据里面有三个男的三个女的,我有他们体重身高的数据。现在有一个人性别不知道,我们怎么推...

3518
来自专栏极客生活

《如何有效阅读一本书》读书笔记

其实这里有一个取舍,针对同样的内容到底是手抄还是电子标签存档,尤其是现在碎片化时间越来越多,30分钟手抄记下1/3内容,电子版记下1/10内容,但是电子版的时间...

692
来自专栏机器之心

学界 | 南科大翁文康:「量子霸权」的基础概念和可行方案

论文:Quantum supremacy: some fundamental concepts

930
来自专栏Vamei实验室

统计01:概述

完成了概率论之后,数据之旅的下一站就是统计。统计是研究数据的学科。它包括了数据很多方面,比如如何描述数据、如何通过抽样推测整体的信息、如何通过数据判断假设的真伪...

1797

扫描关注云+社区