【学术】神经网络正在学习“记忆”和“忘记”

记忆是一种珍贵的资源,所以人类已经能够记忆重要的技能,忘记无关紧要的技能。现在机器也被设计成这样。

深度学习正在改变我们使用和思考机器的方式。在各种任务中,当前的状态比人类要好,从象棋到人脸识别和物体识别。

但机器学习的许多方面远远落后于人类的表现。特别是,能够在重写不再有用的信息的同时,用最重要的知识不断更新自己的记忆。

这是一个重要的技能。世界提供了源源不断的数据来源,其中大部分与生存的棘手业务无关,而且大多数都无法在有限的记忆中存储。因此,人类和其他生物已经发展出了保留重要技能的方法,同时忘记无关紧要的技能。

机器同样不能这样说。不管它有多重要,他们学到的任何技能都会很快被改写。目前没有可靠的机制可以用来优先考虑这些技能,决定要记住什么,忘记什么。

今天,由于拉比夫·阿隆迪(Rahaf Aljundi)和比利时鲁汶大学(University of Leuven)以及Facebook AI Research的努力,这一切看起来将会改变。这些人已经表明,生物系统用来学习和遗忘的方法也可以与人工神经网络一起工作。

关键是一个名为Hebbian learning的过程,它是由加拿大心理学家Donald Hebb在上世纪40年代提出的,用来解释大脑通过突触可塑性学习的方式。Hebbian的理论可以概括为“一起射线的细胞”。

换句话说,如果神经元之间的联系一起发生,神经元之间的联系就会变得更强,因此这些联系更难破坏。这就是我们学习的方式——重复的神经元同步触发使得它们之间的联系变得更强和更难覆盖。

因此,Aljundi和co开发了一种方法来使人工神经网络以相同的方式工作。他们通过测量神经网络的输出并监测它们对网络连接变化的敏感程度来做到这一点。

这使他们了解哪些网络参数是最重要的,因此应该保留下来。“在学习新任务时,对重要参数的改变会受到惩罚。”团队说。他们说由此产生的网络有“记忆感知突触”。

他们已经把这个想法通过了一系列测试,在这些测试中,一个神经网络被训练去做一件事,然后给它一些数据来训练它去做别的事情。例如,一个训练识别花的网络就会显示鸟类。然后研究人员再次展示这些花,看看这些技能有多少被保存下来。

具有内存感知突触的神经网络在这些测试中比其他网络表现更好。换句话说,与没有这种能力的网络相比,他们保留了更多的原始技能,尽管结果有改进的空间。

然而,关键的一点是,团队已经找到了一种方法,让神经网络使用Hebbian学习。Aljundi和co说:“我们证明了,我们的方法的局部版本是Hebb在识别神经元之间重要联系的直接应用。”

这对机器学习的未来意义重大。如果这些科学家能够使他们版本的Hebbian学习更好,它应该使机器在学习上更加灵活。这将使他们能够更好地适应现实世界。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

学不学吴恩达 deeplearning.ai 课程,看完这篇你就知道了

AI 研习社按:本文的作者是 Thomas Treml,是一名具有社会学背景的数据科学自由职业者。他在 Medium 上分享了自己学习 deeplearning...

661
来自专栏机器学习算法原理与实践

矩阵分解在协同过滤推荐算法中的应用

    在协同过滤推荐算法总结中,我们讲到了用矩阵分解做协同过滤是广泛使用的方法,这里就对矩阵分解在协同过滤推荐算法中的应用做一个总结。(过年前最后一篇!祝大家...

693
来自专栏专知

专知主题链路知识推荐#1——马尔科夫链蒙特卡洛采样(附代码)

【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工智能( 机器学习、自然语言处理、计算机视...

2777
来自专栏AI科技大本营的专栏

机器学习的四十三条经验法则——来自谷歌的ML工程最佳实践

本文主要围绕的是谷歌公司(Google)在机器学习方面的经验,旨在为那些具备一定机器学习基础的读者提供最佳的经验法则。文章向读者展现机器学习经验法则的方式,与谷...

3006
来自专栏AI科技评论

学不学吴恩达deeplearning.ai课程,看完这篇你就知道了

AI 科技评论按:本文的作者是 Thomas Treml,是一名具有社会学背景的数据科学自由职业者。他在 Medium 上分享了自己学习 deeplearnin...

1003
来自专栏机器之心

懒人福利:不写代码调优深度模型,谷歌开源的「What-If」了解一下

构建有效的机器学习系统意味着要问许多问题。仅仅训练一个模型放在那儿是不够的。优秀的从业者就像侦探一样,总是试图更好地理解自己的模型:对数据点的改动对模型的预测能...

453
来自专栏专知

【干货】强化学习介绍

【导读】由于Alpha Go的成功,强化学习始终是人们谈论的焦点。现在Thomas Simonini在国外blog网站上发布了系列强化学习教程,以下是本系列的第...

953
来自专栏企鹅号快讯

2017年数据科学Top12的Python库

Python深受数据科学家和数据工程师的喜爱。 ? 本文总结2017年数据科学的Top12的Python库。 核心库1 numpy 它是最基础库,是众多Pyth...

1865
来自专栏数据派THU

TensorFlow超级指南 | 你能想到的TF教程和资源都在这里

本文涵盖与TensorFlow相关的教程、书籍、工具、求职等的大量信息。尽数资源,应有尽有。

772
来自专栏PPV课数据科学社区

学习攻略 | 机器学习 学习路线图

1. 引言 也许你和这个叫『机器学习』的家伙一点也不熟,但是你举起iphone手机拍照的时候,早已习惯它帮你框出人脸;也自然而然点开今日头条推给你的新闻;也习惯...

3808

扫描关注云+社区