DeepMind让AI系统拥有记忆,教机器学习系统举一反三打游戏

机器学习系统现在适用于很多类型的任务,但它们也有一个共同的问题:学得不一定快,但忘得很快。

比如说,DeepMind训练神经网络玩雅达利游戏时,给系统输入Space Invaders的训练数据,它就学会了玩Space Invaders;再输入打砖块的训练数据,它就学会了打砖块,却忘了Space Invaders该怎么玩。

最近,DeepMind和伦敦帝国理工学院的研究人员已经创建了一种算法,允许该系统的神经网络自主学习,保留信息,并再次使用它。

相关论文发表在《美国国家科学院院刊(PNAS)》,摘要地址:

http://www.pnas.org/content/early/2017/03/13/1611835114.abstract

全文PDF: http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf

以下是对DeepMind这项新进展的介绍, 来源:新浪科技 ID:techsina

人工智能(AI)系统能够学会一款雅达利(Atari)游戏,然后利用这些知识再学习另一款游戏。

2014年当DeepMind的机器学习系统学会玩雅达利游戏时,突然引人瞩目地跃入公众视线。这套系统可以把游戏打通关,得分比人类还高,但却不记得它是怎样做到的。

该系统玩每一款雅达利游戏时,都要单独创建一组神经网络,因此,如果不能同时为人工智能输入《空间入侵者》(Space Invaders)和《打砖块》(Breakout)的信息,就不能在同一个系统上玩这两款游戏。现在,一组DeepMind和伦敦帝国理工学院的研究人员已经创建了一种算法,允许该系统的神经网络自主学习,保留信息,并再次使用它。

“以前我们有一个系统可以学着玩任何游戏,但它一次只能学会玩一款游戏,“DeepMind的研究科学家詹姆斯·基尔克帕特里克(James Kirkpatrick)说,他是该系统最新研究论文的主笔。“在此我们展示了一个系统,可以一个接一个地学习玩几个游戏。”

这篇论文发表在美国国家科学院学报上,解释了DeepMind的AI系统如何运用有监督学习和强化学习测试等方式来不断学习。该公司的博客文章也对此做了说明。

计算机科学家在论文中写道:“不断完成学习任务而不遗忘的能力是生物和人工智能的核心组成部分。”基尔克帕特里克说,如今,神经网络和人工智能中的“重大缺陷”已无法从一个任务传递到下一个任务。

研究小组表示,已经能够在“突触整合”的基础上展示“持续学习”,在人脑中,这个过程被描述为“学习和记忆的基础”。

为了让AI系统拥有记忆,DeepMind研究人员开发了一种名为“弹性权重固化”(EWC)的算法。论文指出,“我们的方法是通过有选择性地减慢高权重任务的学习速度来记住旧的任务。”基尔克帕特里克解释说,该算法可以选择在游戏中成功通关的做法,并把最有用的部分保留下来。

“我们只允许它们(在游戏间)非常缓慢地做出改变,”他说,“如此一来,我们就有了学习新任务的空间,但是我们所进行的改变不会覆盖我们以前学过的东西。”

为了对算法进行测试,DeepMind采用了深度神经网络,它被称为Deep Q网络(DQN),以前曾被用来征服雅达利游戏。然而,这一次DQN使用的是“增强的”EWC算法。研究人员随机选择了十款雅达利游戏来测试算法和神经网络,AI的表现足以与人类玩家相媲美。每款游戏被玩过2000万次之后,系统自动切换到下一款雅达利游戏。

“以前,DQN不得不单独学习如何玩一款游戏,”文章写道。“DQN在EWC的助力下功能大增,可以不再经历灾难性的遗忘过程,连续不断地学会玩很多游戏。”

从本质上讲,使用EWC算法的深度神经网络能够学习玩一个游戏,然后将已学会的知识加以转换,再去玩下一个全新的游戏。

然而,这套系统还不完美。虽然它能够学习以前的经验,并保留最有用的信息,但它的神经网络无法像只完成一个游戏那样运转良好。

“当下,我们已经证明了AI系统能够不断学习,但我们还无法证明它的学习效率有所提高,”基尔克帕特里克说。“下一步我们将利用和规范连续学习,尝试和改善它在现实世界的学习活动。”(斯眉)

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-03-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

大伽「趣」说AI:腾讯云在多个场景中的AI落地实践

AI技术已经家喻户晓。不论是移动终端设备,还是企业系统平台,都开始集成AI能力,现阶段看,AI融合到各个行业的潜力非常巨大,能够在众多场景中发挥作用,比如云计算...

18640
来自专栏新智元

【深度】AI 入侵翻译,神经机器翻译进化让巴别塔7年内成真

【新智元导读】 随着AlphaGo战胜柯洁,AI 所激起的惊慌不仅在围棋界蔓延,而且扩展到了几乎每一个领域,翻译受到的冲击尤为严重。深度学习的出现极大地变革了机...

600180
来自专栏数据科学与人工智能

【数据科学】数据科学中隐藏的数据智慧

在大数据时代,学术界和业界的大量研究都是关于如何以一种可扩展和高效率的方式来对数据进行储存,交换和计算(通过统计方法和算法)。 这 些研究领域无疑非常重要,然而...

29550
来自专栏算法channel

机器学习是万能的吗?AI落地有哪些先决条件?

这段时间,有幸聆听了几场大牛报告,一位是第四范式,目前工业界应用AI经验最丰富的之一,曾经在百度与吴恩达共同推进AI在工业界的落地;另一位来自学术界,新加坡国立...

17640
来自专栏新智元

【报告】邓志东:人工智能前沿技术与产业发展趋势(53PPT)

【新智元导读】感谢清华大学计算机系教授邓志东向新智元投稿,他在《人工智能前沿技术与产业发展趋势》报告中指出,深度学习是人工智能的最新突破,一定要和大数据结合起来...

63770
来自专栏新智元

【破译大脑识别人脸原理】人脸识别判断人贫富程度,准确率53%

【新智元导读】 多伦多大学的一项研究发现人脸能够泄露我们的经济地位,这是因为与生活经历相联系的表情会在脸上留下印记。研究者称:平静的人脸部表情是一个可以用来判断...

34240
来自专栏cloudskyme

跟我一起数据挖掘(18)——什么是数据挖掘(1)

什么是数据挖掘 前两天看到群里有人问,什么是数据挖掘,现在就数据挖掘的概念做一下分析,并且尽量用大白话说一下数据挖掘到底是个啥东西,为啥大数据来了数据挖掘也火了...

37370
来自专栏AI科技评论

哈工大秦兵:机器智能中的文本情感计算 | CCF-GAIR 2018

AI 科技评论按:2018 全球人工智能与机器人峰会(CCF-GAIR)在深圳召开,峰会由中国计算机学会(CCF)主办,雷锋网、香港中文大学(深圳)承办,得到了...

19420
来自专栏人工智能

关于“机器学习”,医生们需要知道的5件事

作者:麦子 转载请注明:解螺旋·临床医生科研成长平台 机器学习,简单可以理解为一种数据分析的方法。医生们对数据驱动型预测研究应该不陌生,比如利用风险评分来指导抗...

19550
来自专栏华章科技

干货 | 从菜鸟到老司机,数据科学的 17 个必用数据集推荐

数据集可谓是数据科学的练兵场,不管是对菜鸟入门还是老司机上路,能找到一个好用的数据集无异于如虎添翼。以下是雷锋网整理编译的 17 个常用数据集,并列举了适用的典...

11010

扫码关注云+社区

领取腾讯云代金券