德科学家发现新的神经网络学习方法

沙沙响动的树叶,吱吱作响的树枝:对老鼠来说,这些感觉看起来是无害的,但如果有一只猫突然从灌木丛窜出来就不同了。在这种情况下,这些现象就变成了能够提示迫在眉睫的生命威胁的线索。据德国马普学会网站2016年3月7日报道,该学会的实验医学研究所的Robert Gütig已经发现大脑如何调动感官知觉来预测稍后发生的事情。在一个计算机模型中,他开发了一个学习过程,其中的模型神经元可以根据线索出现的频率来调整自己的活动,以区分多种不同的刺激。该模型甚至可以在线索与事件结果之间有时间差的情况下工作。Gütig的学习过程对所有生物的生存都非常重要,因为它能够使生物过滤环境刺激。该过程还能够从技术上帮助解决许多学习困难,一个可能的应用是开发语音识别程序。

在动物世界中,经常有警告信号出现在危险之前:泄露危险的声音、动作和气味都可能预示着迫在眉睫的攻击。如果一只老鼠在猫的攻击下生存,而且它能够从成功的逃跑中学习经验,它的未来将会更加光明,因为它会在下一次攻击发生之前获得线索。然而,老鼠持续不断地获得大量信息,其中大部分与危险无关。它们如何确定环境中的哪种声音和气味预示着猫的攻击?

这提出了一个关于老鼠大脑的问题。在绝大多数情况下,关键的环境刺激是临时从实际攻击中散发出来的,因此大脑必须将线索和结果事件(例如一种声音与一次攻击)联系起来,即使这两者之间有时间间隔。以前的理论不能成功解释大脑如何将线索与相关结果结合起来。马克斯普朗克实验医学研究所的Robert Gütig已经发现大脑如何解决这个问题。在计算机上,他编写了一个神经网络程序来模拟一簇神经细胞对刺激做出反应的过程。这个神经网络能够学习如何挑选出可以预测随后事件的线索。

关键问题在于频率。该网络通过加强或减弱模型神经元之间的特异性突触连接来完成学习。计算机模型的基础是一个突触学习规则。在这个规则之下,单个神经元能够增加或减少它们的活动,来对一个简单的学习信号做出反应。Gütig已经利用这个学习规则建立了一个新的学习过程。他解释说,这个‘聚合-标签’学习过程的基础是在细胞之间建立链接,规则是在一段时间内形成的神经活动与刺激信号的数量成正比。按照这种方式,在老鼠的生存环境中,如果一个学习信号能够反映特定事件发生的概率,神经元就可以学会针对刺激做出能够预测随后事件的反应。

然而,Gütig的网络能够在环境中没有学习信号的情况下学习如何对环境刺激做出反应。这是通过将一个网络中神经活动的平均值作为一个学习信号来达实现的。单个神经元学习对一定数量的刺激做出反应,刺激的数量与网络中其他神经元做出反应时的情况一致。这种自我监督的学习遵循了与赫布人工神经网络中经常用到的赫布(Hebbian)理论不同的原则。赫布网络的学习方式是强化在同一时刻或连续时间凸起的神经元之间的突触。Gütig表示,在自我监督的学习中,没有必要对神经活动进行临时性校准。在特定时间内凸起的突触数量是突触变化的决定性因素。这意味着,即使不同类型的感官线索的神经表示之间有显着的时间差,这样的网络可以连接它们,如视觉、听觉和嗅觉。

Gütig的学习过程不仅能够解释生物学进程,也可以为极大改进诸如自动化语言识别之类的技术应用奠定基础。Gütig表示,这将极大地简化基于计算机的语音识别的训练要求。‘聚合标签’学习无需费力地对语言数据库进行分类或使用复杂的分类算法,而是通过类似浏览新闻副标题的方式来完成任务。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-04-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

利用Python进行深度学习的完整入门指南(附资源)

1786
来自专栏Python中文社区

用Python对用户评论典型意见进行数据挖掘

用户体验的工作可以说是用户需求和用户认知的分析。而消费者的声音是其中很重要的一环,它包含了用户对产品的评论,不管是好的坏的,都将对我们产品的改进和迭代有帮助。...

3297
来自专栏AI科技评论

Andrej Karpathy发文谈神经网络:这不仅仅是分类器,这是一种新的软件开发思想

AI科技评论按:有越来越多的传统编程语言(C、C++、Java)等程序员开始学习机器学习/深度学习,而对机器学习/深度学习的研究人员来说,编程也是必备技巧。那么...

3185
来自专栏机器之心

学界 | 推荐系统顶会 RecSys2018 最佳论文奖出炉!因果嵌入推荐与用户研究成为焦点

RecSys 2018 的最佳长论文(Best Long Paper Award)由 Criteo 人工智能实验室的 Stephen Bonner 和 Flav...

1013
来自专栏新智元

【2天=100年】OpenAI用打Dota2的算法造了一只会转方块的机器手

【新智元导读】之前在DOTA2团队战中战胜人类玩家的OpenAI Five,现在被用于训练机器手,取得了前所未有的灵活度。这只机器手完全在虚拟环境中自我学习和训...

852
来自专栏IT派

深度学习框架的热度对比

近两年,该调查中使用深度学习工具的投票者所占份额保持稳定。2018 年有 33% 的投票者使用深度学习工具,2017 年和 2016 年分别有 32% 和 18...

1103
来自专栏新智元

【攻克Dota2】OpenAI自学习多智能体5v5团队战击败人类玩家

【新智元导读】刚刚,OpenAI 宣布了一个大新闻——他们的一个由5个神经网络组成的OpenAI Five,已经开始击败Dota 2的业余玩家队伍。

770
来自专栏AI研习社

Facebook 开源 FAISS;MIT 开发机器学习数据合成系统 SDV | 开发者头条

更高效的聚类、相似性搜索算法库,Facebook 开源 FAISS MIT 黑科技,合成数据也能用于机器学习 机器学习算法成功预测人造地震 每日推荐阅读 Vi...

3244
来自专栏大数据挖掘DT机器学习

Slope one:简单高效的推荐算法

推荐系统最早在亚马逊的网站上应用,根据以往用户的购买行为,推荐出购买某种产品同时可能购买的其他产品,国内做的不错的当当网,有时候买书,它总能给我推荐出我感兴趣的...

2926
来自专栏机器之心

为机器赋予记忆:DeepMind重磅研究提出弹性权重巩固算法

选自DeepMind 机器之心编译 作者:微胖、吴攀 作为世界上最受瞩目的人工智能技术研究机构之一,Google DeepMind 总是在不断带来我们惊喜。在去...

3439

扫码关注云+社区