DeepMind的小窍门,究竟如何给AI提的速?

各算法性能对比

人工智能里一直以人类为学习榜样。而在面部识别、电子游戏、甚至围棋等领域,深度学习都已经超越了人类,以至于造成人类已经失败了的感觉。

但话还不能说太早,人工智能在一个关键领域仍然落后于人类:学习速度。例如在学习玩经典的游戏时,深度学习机器最快也需要玩200个小时才能达到人类玩两个小时水平。

所以计算机科学家整天想的都是用什么办法能给机器学习提速。

今天,来自伦敦Google旗下DeepMind公司的Alexander Pritzel和小伙伴们宣称,他们搭建了一个能迅速学习、反馈的深度学习机器。这台机器的学习速度明显快于其他机器,并有可能在不久的将来能与人类比肩。

先来介绍一下背景。深度学习使用大量的神经网络层来发现数据之间的联系:当一层神经认出一个它认识的模式时,会把这个信息发给下一层,下一层在接收到的信息中继续进行模式识别,依此类推。

所以,在人脸识别中,可能会一层用来寻找图像中的边缘,下一层寻找边缘中的圆形(类似眼睛、嘴巴),然后再找三角形(例如两只眼睛和嘴巴连线成的图案)。整个儿过一遍以后,最终的输出结果就发现了一张脸。

当然,这些只是牝牡骊黄,猫腻都在细节里。系统通过调整各种内部参数(比如层间连结的强度)来学习各种各样的反馈。而这些参数的变化必须平缓,因为一个层的参数突变可能对后层的学习造成灾难性影响,这也是为什么深度神经网络需要大量、漫长的训练。

Pritzel和他的小伙伴们,用一种称为“神经情景控制 (neural episodic control)”的技术来解决这个问题。他们说:“通过神经情景控制,各种环境下人工智能的学习速度都有了显著提高。关键是我们的代理程序 (Agent) 能快速锁定高效的解决问题的策略,而不用经过繁琐的优化。”

DeepMind的内在基本思想是模仿人类和动物快速学习的方式。现在普遍认为人类可以用两种不同的方式来解决问题。如果情形很熟悉的话,我们的大脑中对此已经有了一个模板,可以用模板来找到最好的解决方案,这要用到大脑中叫做“前额叶皮质”的部分。

但是遇到不熟悉的情况时,我们的大脑就要换一种策略。一般认为这是一种与大脑海马区有关的更简单的“探索-归纳”(test-and-remember)的方法。就是说,我们先试着来,看看这么办的结果怎么样。如果结果不错,我们就再试一次,但如果处理失败了,我们以后会尽量避免犯同样的错误。

这种临时的办法在短期内已经够用了,但同时,我们的前额叶也在学习,而且前额叶皮质基于对问题建模的解决方法其表现会超过这种临时解决方案。

Pritzel和他的小伙伴们从中获得了灵感。他们的新系统有两种处理问题的方法:第一种是传统的深度学习系统,用来模仿前额叶皮质的行为;第二种则更像海马区,会尝试新事物,并记住这么做的结果。

最关键的是,它不是选择性记忆,而是把一切都记了下来。“我们的架构不学应该在什么时候保存工作,因为这样效率太低” Pritzel说,“相反,我们把所有的经验都保存下来,对于如今的存储架构,他的体积可以增长到非常大。“

然后,他们会通过一通操作,从大量数据中快速读盘。结果,这种系统会比传统的深度学习系统更快地锁定了成功的解题策略。

他们接着演示了一下这种方法的效果有多好。他们训练机器玩雅达利 (Atari) 游戏(比如《Breakout》《Pong》和《Space Invaders》——DeepMind常用这些来训练深度学习机器)。

包括DeepMind联合创始人Demis Hassibis在内的团队证明了,神经情景控制方法在学习速度上远快于其他深度学习方法。他们说:“我们的实验表明,神经情景控制所需的尝试次数要少一个数量级。”

这项成果令人印象深刻,而且有巨大的发展前景。研究人员说,很明显,这项成果接下来要推广到更复杂的三维环境中进行测试。

那么他们到底会选什么样的环境来测试呢?又会对这个世界产生什么样的影响呢?让我们拭目以待!

本文的版权归 元卅 所有,如需转载请联系作者。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

目前数据科学和机器学习中使用的最多的20个包

CRAN包库有6778个常用的包。哪些是你知道的?下面对此进行以下的分析,同时在文章底部另请参见原始数据链接。 这些R包都是Kagglers里的技术大牛最青睐的...

3605
来自专栏FD的专栏

人工智能与自然语言处理概述:AI三大阶段、NLP关键应用领域

AI 指代「人工智能」,是让机器能够像人类一样完成智能任务的技术。AI 使用智能完成自动化任务。

1093
来自专栏数据科学与人工智能

【数据】作为数据科学家应该学习的第一件事

根据30年的商业经验,下面的列表是我认为首先应该在数据科学课中讲授的(非全面的)内容选择。 这是我文章的后续内容为什么Logistic回归应该最后讲解。

930
来自专栏机器学习算法与Python学习

看论文头疼吗?这里有一份学术论文阅读指南请查收!

对于从事学术研究的人来说,跟进最新的论文是必备的科研素质之一。但面对海量的论文更新,应该如何快速又有效地阅读论文,吸收其精华? KyleM Shannon 为我...

2260
来自专栏腾讯架构师的专栏

给 AI 换个“大动力小心脏”之通用 CNN 加速设计

基于 FPGA 的通用 CNN 加速设计,可以大大缩短 FPGA 开发周期,支持业务深度学习算法快速迭代;提供与GPU相媲美的计算性能,但拥有相较于 GPU 数...

1.7K2
来自专栏每周一脱topic

推荐系统-学习总结

推荐系统目前几乎无处不在,主流的app都基本应用到了推荐系统。

2.3K13
来自专栏机器之心

人工智能与自然语言处理概述:AI三大阶段、NLP关键应用领域

选自xenonstack 机器之心编译 参与:黄小天、李亚洲 近日,Xenonstack 上推出了一篇名为《Overview of Artificial In...

4768
来自专栏PaddlePaddle

零基础上手深度学习的捷径,居然真的有?

EasyDL全称为Easy DeepLearning,是一款定制模型训练和服务的技术平台。使用时,根据页面文字提示进行四步简单操作,最快10分钟小伙伴们即可训练...

931
来自专栏玉树芝兰

如何快速梳理领域文献

给研究生上课的时候,有一次作业是让他们就某一个具体领域做文献分析。这个作业基本上就没有很完满而愉快地完成过。

1562
来自专栏AI科技大本营的专栏

回顾2016深度学习十大框架

我喜欢参加在西班牙马德里举办的机器学习见面会,也算是西班牙马德里TensorFlow小组和机器学习(Machine Learning)小组的常客,在自动无人驾驶...

39311

扫码关注云+社区

领取腾讯云代金券