动态 | DeepMind 弹性权重巩固算法让 AI 拥有“记忆” ,将成机器高效学习的敲门砖

一直以来,计算机程序都是个“左耳进,右耳出”的“傻小子”,它们很快就会忘掉所做过的任务。DeepMind 决定改变传统的学习法则,让程序在学习新任务时也不忘掉旧任务。在追逐更智能程序的道路上,这是很重要的一步,能渐进学习的程序才能适应更多任务。

眼下,在解决文本翻译、图像分类和图像生成等任务时,深度神经网络是机器学习中最成功最有效的方式。不过,只有将数据一股脑地塞给它,深度神经网络才能变得“多才多艺”。

神经网络输入时,它会在数字神经元与输出方案之间建立联系,而当它学习新事物时,神经网络不得不重新建立新的联系,同时有效覆盖旧的联系。这样的情况被称之为“灾难性忘却”(catastrophic forgetting),业内普遍认为这是阻碍神经网络技术不断进步的最大绊脚石。

与深度神经网络相比,人类大脑的工作方式就大不相同。我们可以渐进式的学习,一次掌握一些技巧,在学习新技巧时,此前的经验还能提高我们的学习效率。

AI科技评论了解到,DeepMind 在美国国家科学院院刊(PNAS)上发表的论文就提出了一个解决“灾难性忘却”的有效方式,这一方法的灵感来自神经科学的研究成果,即人类和哺乳动物拥有巩固先前获得的技能和记忆的能力。

神经科学家已经能区分大脑中两种类型的巩固方式:系统巩固(systems consolidation )与突触巩固(synaptic consolidation)。系统巩固的过程中,人类大脑将快速学习部分获得的记忆转印进了缓慢学习的部分。这一转印过程有有意识的回忆参与,也有无意识回忆的参与,人类做梦时就能完成这一转印过程。而在突触巩固中,如果一种技能在此前的学习中非常重要,神经元之间连接就不会被覆盖。DeepMind 的算法就是沾了突触巩固的光,成功解决了“灾难性忘却”的问题。

神经网络中神经元的连接与大脑非常相似,在学习完一个技巧后,DeepMind 会计算出在神经网络中的哪个连接对已学到的任务最为重要。随后在学习新技巧时,这些重要的连接就会被保护起来不被覆盖。这样一来,在计算成本没有显著升高的情况下,“左耳进,右耳出”的问题就解决了。

如果用数学术语来解释,可理解为在一个新任务中把每个连接所附加的保护比作弹簧,弹簧的强度与其连接的重要性成比例。因此,DeepMind 将这种算法称之为“弹性权重巩固”(Elastic Weight Consolidation,EWC)。

为了测试该算法,DeepMind 让程序不断尝试玩 Atari 游戏。据AI科技评论了解,单单从得分来学习一个游戏是一项具有挑战性的任务,但是依次学习多个游戏则更加困难,因为每个游戏需要单独的战略。如下图所示,如果没有 EWC 算法,程序会在游戏停止后快速将之前的事忘得一干二净(蓝色),这就意味着其实程序什么游戏都没学会。不过,如果用上 EWC 算法(棕色和红色),程序就不那么容易遗忘,且可以逐个学会多个游戏。

眼下计算机程序还不能适应即时学习的节奏,不过 DeepMind 的新算法已经攻克了“灾难性忘却”这座大山。未来,这项研究结果可能是计算机程序通往灵活高效学习的敲门砖。

同时,这项研究也深化了 DeepMind 对“巩固”在人类大脑中产生过程的理解。事实上,该算法所基于的神经科学理论都是在非常简单的例子中得到证实的。通过将该理论应用在更现实和复杂的机器学习环境中,DeepMind 希望进一步加强对突触巩固在记忆保存中的作用及其机制的研究。

Via. DeepMind.com,

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-03-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏京东技术

AAAI 2018快报:京东公布基于计算机视觉的电商推荐技术

AAAI会议(Associationfor the Advancement of Artificial Intelligence)是人工智能领域的顶级学术会议,...

3566
来自专栏PPV课数据科学社区

写给风控新人大数据挖掘基础知识介绍

对企业来,堆积如山的数据无异于一个巨大的宝库。但是如何利用新一代的计算技术和工具来开采数据库中蕴藏的宝藏呢? 在市场需求和技术基础这两个因素都具备的环境下,数据...

33213
来自专栏新智元

计算机视觉导览:如何快速上手,是否该读博?

【新智元导读】 Learning OpenCV 3 Application Development 一书的作者 Samyak Datta 在一次专访中解答了初学...

3963
来自专栏AI研习社

DeepMind 弹性权重巩固算法让 AI 拥有“记忆” ,将成机器高效学习的敲门砖

一直以来,计算机程序都是个“左耳进,右耳出”的“傻小子”,它们很快就会忘掉所做过的任务。DeepMind 决定改变传统的学习法则,让程序在学习新任务时也不忘掉旧...

3065
来自专栏AI科技大本营的专栏

四个月速成全栈机器学习?这位黑人小哥三个半月就开始找工作了

程序员转型AI、机器学习需要学多久?1年?3年?这是绝大多数考虑转型的人,从一开始就要认真思考的问题。 光说不练在这里没用,咱们还是要看真实的故事,来看看黑...

3548
来自专栏机器之心

前沿 | 没有地图也能导航:DeepMind展示全新AI导航技术

选自DeepMind 作者:Piotr Mirowski等 机器之心编译 当前的无人驾驶汽车高度依赖于精确的地图进行导航,尽管各家科技公司已经构建了接近完美的 ...

2785
来自专栏AI科技评论

干货 | 猿桌会 56 期 - 葛笑雨:应用于智能体的空间物理定性推理技术

近年来人工智能技术突飞猛进,越来越多的机器人正在走进我们的世界。与人类一样,机器人在执行日常任务时往往需要具备一定的空间物理推理能力。具备这种能力不仅使机器人可...

1222
来自专栏新智元

【DeepMin哈萨比斯长文】伟大的AI离不开神经科学:强化学习-Attention-连续学习

【新智元导读】DeepMind 联合创始人兼 CEO Demis Hassabis 等人日前在 Neuron(神经元) 发表评论文章,纵览神经科学对 AI 的启...

3467
来自专栏Python攻城狮

DIKW模型与数据工程1.DIKW 体系2.数据工程领域中的DIKW体系3.数据工程 领域职业划分4.数据分析5.数据建模基础

DIKW体系是关于数据、信息、知识及智慧的体系,可以追溯至托马斯·斯特尔那斯·艾略特所写的诗--《岩石》。在首段,他写道:“我们在哪里丢失了知识中的智慧?又在哪...

1103
来自专栏ATYUN订阅号

机器学习算法检测分析辐射损伤,速度和准确率均胜过人类

威斯康星大学麦迪逊分校和橡树岭国家实验室的研究人员训练计算机,使其快速一致地检测和分析核反应堆材料的微观辐射损伤,并且计算机在这项艰巨的任务中表现胜过人类。

972

扫码关注云+社区