【学术】神经网络正在学习“记忆”和“忘记”

记忆是一种珍贵的资源,所以人类已经能够记忆重要的技能,忘记无关紧要的技能。现在机器也被设计成这样。

深度学习正在改变我们使用和思考机器的方式。在各种任务中,当前的状态比人类要好,从象棋到人脸识别和物体识别。

但机器学习的许多方面远远落后于人类的表现。特别是,能够在重写不再有用的信息的同时,用最重要的知识不断更新自己的记忆。

这是一个重要的技能。世界提供了源源不断的数据来源,其中大部分与生存的棘手业务无关,而且大多数都无法在有限的记忆中存储。因此,人类和其他生物已经发展出了保留重要技能的方法,同时忘记无关紧要的技能。

机器同样不能这样说。不管它有多重要,他们学到的任何技能都会很快被改写。目前没有可靠的机制可以用来优先考虑这些技能,决定要记住什么,忘记什么。

今天,由于拉比夫·阿隆迪(Rahaf Aljundi)和比利时鲁汶大学(University of Leuven)以及Facebook AI Research的努力,这一切看起来将会改变。这些人已经表明,生物系统用来学习和遗忘的方法也可以与人工神经网络一起工作。

关键是一个名为Hebbian learning的过程,它是由加拿大心理学家Donald Hebb在上世纪40年代提出的,用来解释大脑通过突触可塑性学习的方式。Hebbian的理论可以概括为“一起射线的细胞”。

换句话说,如果神经元之间的联系一起发生,神经元之间的联系就会变得更强,因此这些联系更难破坏。这就是我们学习的方式——重复的神经元同步触发使得它们之间的联系变得更强和更难覆盖。

因此,Aljundi和co开发了一种方法来使人工神经网络以相同的方式工作。他们通过测量神经网络的输出并监测它们对网络连接变化的敏感程度来做到这一点。

这使他们了解哪些网络参数是最重要的,因此应该保留下来。“在学习新任务时,对重要参数的改变会受到惩罚。”团队说。他们说由此产生的网络有“记忆感知突触”。

他们已经把这个想法通过了一系列测试,在这些测试中,一个神经网络被训练去做一件事,然后给它一些数据来训练它去做别的事情。例如,一个训练识别花的网络就会显示鸟类。然后研究人员再次展示这些花,看看这些技能有多少被保存下来。

具有内存感知突触的神经网络在这些测试中比其他网络表现更好。换句话说,与没有这种能力的网络相比,他们保留了更多的原始技能,尽管结果有改进的空间。

然而,关键的一点是,团队已经找到了一种方法,让神经网络使用Hebbian学习。Aljundi和co说:“我们证明了,我们的方法的局部版本是Hebb在识别神经元之间重要联系的直接应用。”

这对机器学习的未来意义重大。如果这些科学家能够使他们版本的Hebbian学习更好,它应该使机器在学习上更加灵活。这将使他们能够更好地适应现实世界。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

从数据预处理到排序算法,全方位解读 Uber 人工智能客服 COTA

日前,Uber 官网上的一篇文章详细介绍了基于 NLP 和机器学习构建的 COTA 客服系统。利用该系统,Uber 可以快速高效地解决 90% 以上的客服问题,...

3197
来自专栏智能算法

推荐算法概览

原文:Overview of Recommender Algorithms 作者: MAYA.HRISTAKEVA 译者: 孙薇 推荐算法概览(一) 为推...

3917
来自专栏机器之心

学界 | 基于概率隐层模型的购物搭配推送:阿里巴巴提出新型用户偏好预测模型

4036
来自专栏ATYUN订阅号

fast.ai推出全新的7周实用深度学习课程

深度学习入门课程第1部分,为编码人员提供实用的深度学习入门课程,由Jeremy Howard (Enlitic创始人)授课。深度学习入门课程不需要研究生水平的数...

934
来自专栏目标检测和深度学习

业界 | 如何评估深度学习的性能?英伟达提出7大挑战

1534
来自专栏机器之心

业界 | 如何评估深度学习的性能?英伟达提出7大挑战

1665
来自专栏机器之心

学界 | 北京大学研究者提出注意力通信模型ATOC,助力多智能体协作

2084
来自专栏专知

论文被拒的原因……以及我们能做些什么

【导读】作为一位研究学者,或者硕博研究生,论文被拒简直是噩梦……你知道你的论文会因为什么原因被拒吗? 我们应该如何尽量提高自己文章的录取概率?这里有一份指南送给...

1722
来自专栏AI科技评论

干货 | 人脑的前额皮质里藏了一个强化学习系统,DeepMind如是说

AI 科技评论按:最近,AI 系统已经学会一系列游戏的玩法,如雅达利经典游戏 Breakout 和 Pong。尽管这样的表现令人印象深刻,但其实人工智能需要数...

1112
来自专栏ml

Scan Order in Gibbs Sampling: Models in Which it Matters and Bounds on How Much(笔记)

    这篇文章的作者通过对当前的在线新闻和社交媒体平台新闻的观察,基于:“社交媒体用户经常通过学习朋友分享的观点来更新自己对某一特定话题的看法” ,  提出了...

1173

扫码关注云+社区