【学术】神经网络正在学习“记忆”和“忘记”

记忆是一种珍贵的资源,所以人类已经能够记忆重要的技能,忘记无关紧要的技能。现在机器也被设计成这样。

深度学习正在改变我们使用和思考机器的方式。在各种任务中,当前的状态比人类要好,从象棋到人脸识别和物体识别。

但机器学习的许多方面远远落后于人类的表现。特别是,能够在重写不再有用的信息的同时,用最重要的知识不断更新自己的记忆。

这是一个重要的技能。世界提供了源源不断的数据来源,其中大部分与生存的棘手业务无关,而且大多数都无法在有限的记忆中存储。因此,人类和其他生物已经发展出了保留重要技能的方法,同时忘记无关紧要的技能。

机器同样不能这样说。不管它有多重要,他们学到的任何技能都会很快被改写。目前没有可靠的机制可以用来优先考虑这些技能,决定要记住什么,忘记什么。

今天,由于拉比夫·阿隆迪(Rahaf Aljundi)和比利时鲁汶大学(University of Leuven)以及Facebook AI Research的努力,这一切看起来将会改变。这些人已经表明,生物系统用来学习和遗忘的方法也可以与人工神经网络一起工作。

关键是一个名为Hebbian learning的过程,它是由加拿大心理学家Donald Hebb在上世纪40年代提出的,用来解释大脑通过突触可塑性学习的方式。Hebbian的理论可以概括为“一起射线的细胞”。

换句话说,如果神经元之间的联系一起发生,神经元之间的联系就会变得更强,因此这些联系更难破坏。这就是我们学习的方式——重复的神经元同步触发使得它们之间的联系变得更强和更难覆盖。

因此,Aljundi和co开发了一种方法来使人工神经网络以相同的方式工作。他们通过测量神经网络的输出并监测它们对网络连接变化的敏感程度来做到这一点。

这使他们了解哪些网络参数是最重要的,因此应该保留下来。“在学习新任务时,对重要参数的改变会受到惩罚。”团队说。他们说由此产生的网络有“记忆感知突触”。

他们已经把这个想法通过了一系列测试,在这些测试中,一个神经网络被训练去做一件事,然后给它一些数据来训练它去做别的事情。例如,一个训练识别花的网络就会显示鸟类。然后研究人员再次展示这些花,看看这些技能有多少被保存下来。

具有内存感知突触的神经网络在这些测试中比其他网络表现更好。换句话说,与没有这种能力的网络相比,他们保留了更多的原始技能,尽管结果有改进的空间。

然而,关键的一点是,团队已经找到了一种方法,让神经网络使用Hebbian学习。Aljundi和co说:“我们证明了,我们的方法的局部版本是Hebb在识别神经元之间重要联系的直接应用。”

这对机器学习的未来意义重大。如果这些科学家能够使他们版本的Hebbian学习更好,它应该使机器在学习上更加灵活。这将使他们能够更好地适应现实世界。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

小白学数据:一文看懂机器学习

1345
来自专栏量子位

腾讯AI Lab开源800万中文词的NLP数据集 | 资源

该数据包含800多万中文词汇,相比现有的公开数据集,在覆盖率、新鲜度及准确性上大幅提高。

633
来自专栏AI研习社

OpenAI 尝试打破“中文房间悖论”,让 AI 创造语言并自发交流

大规模机器学习技术已经在翻译、语言推理、语言理解、句子生成等领域取得巨大进展,而它的训练方式都大同小异: 给系统输入大量文本数据; 系统提取特征并提炼模式。 ...

34511
来自专栏人工智能头条

从How-Old.net看人脸识别技术的演进

1213
来自专栏腾讯高校合作

CCF-腾讯犀牛鸟基金项目课题介绍(一)——机器学习&计算机视觉及模式识别

2748
来自专栏数据科学与人工智能

【机器学习】人工智能\\机器学习\\统计学\\数据挖掘之间有什么区别?

前段时间,作者在 stats.stackexchange.com(译注:国外的一个系列问答网站,其中Stack Overflow是其中一个子站)看到一个很有意思...

2155
来自专栏PPV课数据科学社区

论数据分析、数据挖掘、数据统计、OLAP 之间的差异是什么?谁的观点你最赞同?

Han Hsiao 观点: 简单说:数据挖掘就是从海量数据中找到隐藏的规则,数据分析一般要分析的目标比较明确,数据统计则是单纯的使用样本来推断总体。 主要区...

3524
来自专栏AI科技评论

学界 | OpenAI尝试打破“中文房间悖论”,让AI创造语言并自发交流

大规模机器学习技术已经在翻译、语言推理、语言理解、句子生成等领域取得巨大进展,而它的训练方式都大同小异: 给系统输入大量文本数据; 系统提取特征并提炼模式。 ...

2617
来自专栏华章科技

基于客户行为事件的跨领域统一推荐模型探讨

跨领域深度学习模型一直是近几年推荐系统主要研究方向之一, 本文探讨一种个人客户画像构建的新思路, 并讨论对应的基于个人行为事件的跨领域统一推荐模型。

503
来自专栏新智元

微软人工智能首席科学家邓力:深度学习十年简史和人工智能未来展望(33PDF下载)

【新智元导读】微软人工智能首席科学家邓力18日在首届世界人工智能大会 AI WORLD 2016 发表主旨演讲《深度学习十年简史和人工智能未来展望》。邓力博士回...

3477

扫码关注云+社区