德科学家发现新的神经网络学习方法

沙沙响动的树叶,吱吱作响的树枝:对老鼠来说,这些感觉看起来是无害的,但如果有一只猫突然从灌木丛窜出来就不同了。在这种情况下,这些现象就变成了能够提示迫在眉睫的生命威胁的线索。据德国马普学会网站2016年3月7日报道,该学会的实验医学研究所的Robert Gütig已经发现大脑如何调动感官知觉来预测稍后发生的事情。在一个计算机模型中,他开发了一个学习过程,其中的模型神经元可以根据线索出现的频率来调整自己的活动,以区分多种不同的刺激。该模型甚至可以在线索与事件结果之间有时间差的情况下工作。Gütig的学习过程对所有生物的生存都非常重要,因为它能够使生物过滤环境刺激。该过程还能够从技术上帮助解决许多学习困难,一个可能的应用是开发语音识别程序。

在动物世界中,经常有警告信号出现在危险之前:泄露危险的声音、动作和气味都可能预示着迫在眉睫的攻击。如果一只老鼠在猫的攻击下生存,而且它能够从成功的逃跑中学习经验,它的未来将会更加光明,因为它会在下一次攻击发生之前获得线索。然而,老鼠持续不断地获得大量信息,其中大部分与危险无关。它们如何确定环境中的哪种声音和气味预示着猫的攻击?

这提出了一个关于老鼠大脑的问题。在绝大多数情况下,关键的环境刺激是临时从实际攻击中散发出来的,因此大脑必须将线索和结果事件(例如一种声音与一次攻击)联系起来,即使这两者之间有时间间隔。以前的理论不能成功解释大脑如何将线索与相关结果结合起来。马克斯普朗克实验医学研究所的Robert Gütig已经发现大脑如何解决这个问题。在计算机上,他编写了一个神经网络程序来模拟一簇神经细胞对刺激做出反应的过程。这个神经网络能够学习如何挑选出可以预测随后事件的线索。

关键问题在于频率。该网络通过加强或减弱模型神经元之间的特异性突触连接来完成学习。计算机模型的基础是一个突触学习规则。在这个规则之下,单个神经元能够增加或减少它们的活动,来对一个简单的学习信号做出反应。Gütig已经利用这个学习规则建立了一个新的学习过程。他解释说,这个‘聚合-标签’学习过程的基础是在细胞之间建立链接,规则是在一段时间内形成的神经活动与刺激信号的数量成正比。按照这种方式,在老鼠的生存环境中,如果一个学习信号能够反映特定事件发生的概率,神经元就可以学会针对刺激做出能够预测随后事件的反应。

然而,Gütig的网络能够在环境中没有学习信号的情况下学习如何对环境刺激做出反应。这是通过将一个网络中神经活动的平均值作为一个学习信号来达实现的。单个神经元学习对一定数量的刺激做出反应,刺激的数量与网络中其他神经元做出反应时的情况一致。这种自我监督的学习遵循了与赫布人工神经网络中经常用到的赫布(Hebbian)理论不同的原则。赫布网络的学习方式是强化在同一时刻或连续时间凸起的神经元之间的突触。Gütig表示,在自我监督的学习中,没有必要对神经活动进行临时性校准。在特定时间内凸起的突触数量是突触变化的决定性因素。这意味着,即使不同类型的感官线索的神经表示之间有显着的时间差,这样的网络可以连接它们,如视觉、听觉和嗅觉。

Gütig的学习过程不仅能够解释生物学进程,也可以为极大改进诸如自动化语言识别之类的技术应用奠定基础。Gütig表示,这将极大地简化基于计算机的语音识别的训练要求。‘聚合标签’学习无需费力地对语言数据库进行分类或使用复杂的分类算法,而是通过类似浏览新闻副标题的方式来完成任务。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-04-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

为机器赋予记忆:DeepMind重磅研究提出弹性权重巩固算法

选自DeepMind 机器之心编译 作者:微胖、吴攀 作为世界上最受瞩目的人工智能技术研究机构之一,Google DeepMind 总是在不断带来我们惊喜。在去...

3519
来自专栏新智元

【2天=100年】OpenAI用打Dota2的算法造了一只会转方块的机器手

【新智元导读】之前在DOTA2团队战中战胜人类玩家的OpenAI Five,现在被用于训练机器手,取得了前所未有的灵活度。这只机器手完全在虚拟环境中自我学习和训...

1052
来自专栏IT派

深度学习框架的热度对比

近两年,该调查中使用深度学习工具的投票者所占份额保持稳定。2018 年有 33% 的投票者使用深度学习工具,2017 年和 2016 年分别有 32% 和 18...

1243
来自专栏量子位

Google大脑工程师详解:深度学习技术能带来哪些新产品?

量子位 | 李林 整理编译 提到深度学习,你可能会想到认猫、认脸,或者下围棋、翻译……其实,这项技术还能用在很多你意想不到的地方。 那么,“深度学习的最新进展能...

3387
来自专栏新智元

【攻克Dota2】OpenAI自学习多智能体5v5团队战击败人类玩家

【新智元导读】刚刚,OpenAI 宣布了一个大新闻——他们的一个由5个神经网络组成的OpenAI Five,已经开始击败Dota 2的业余玩家队伍。

880
来自专栏Python中文社区

用Python对用户评论典型意见进行数据挖掘

用户体验的工作可以说是用户需求和用户认知的分析。而消费者的声音是其中很重要的一环,它包含了用户对产品的评论,不管是好的坏的,都将对我们产品的改进和迭代有帮助。...

4327
来自专栏AI科技大本营的专栏

未来20年,AI将向人类大脑学习的三个重要特征

人类大脑新皮层这三个基本属性——通过重新连接进行学习(learning by rewiring)、稀疏表示(sparse representations)和化身...

3426
来自专栏AI研习社

2018 机器阅读理解技术竞赛冠军 Naturali 分享问答系统新思路

AI 研习社按:7 月 28 日,由中国中文信息学会和中国计算机学会联合举办的第三届语言与智能高峰论坛于北京语言大学举办,Naturali 奇点机智团队作为 2...

801
来自专栏大数据文摘

自带迷幻剂技能的小贴纸:忽悠神经网络,让它将一切都当作烤面包机!

1793
来自专栏机器学习算法与Python学习

K-Means算法的10个有趣用例

源 | AI Zone K-means算法具有悠久的历史,并且也是最常用的聚类算法之一。K-means算法实施起来非常简单,因此,它非常适用于机器学习新手爱好者...

3206

扫码关注云+社区