Deepmind“预测地图”论文背后:神经科学或将助力AI迎来新突破

对人类神经网络的理解越来越在左右人工智能的未来研究,连Deepmind也不例外。

2017年10月2日,《NATURE NEUROSCIENCE》发表了Deepmind的一篇《The hippocampus as a predictive map》的论文。这篇论文中,Deepmind通过对主管人类长期记忆行为的“海马体”(hippocampus)神经元活动的研究,进一步提出了可以转化为神经网络架构的“预测图”理论。

在博客中,Deepmind这样写到:

“传统观点认为海马体只表示动物的现状,尤其在执行走迷宫之类的空间任务中。这种观点在发现啮齿动物的海马体中的“位置细胞”后被广泛传播,当动物处于特定位置时,它们会选择性地放电。虽然这个理论解释了许多神经生理学发现,但并不完全解释为什么海马体也参与其他功能,包括记忆,关系推理和决策等。 我们认为,海马体用它们预测到的未来状态来展示代表每一种情况。例如,如果你要下班回家(你当前的状态),你的海马体可能会预测你很可能很快会通勤回家,到学校接孩子,或者更长远一点——到家了。海马体预测这些后期状态来表现出当前的状态,从而传达了对未来事件的摘要表达,也就是我们正式说的“后续表征”(Sucessor Representation)。我们认为,这种具体形式的预测图可以让大脑在奖励不断变化的环境中快速适应,而无需运行代价昂贵的未来模拟。 这一理论启发我们在新算法中结合了基于模型的算法的灵活性和无模型算法中的高效性,由于计算只是简单的加权相加,因此该算法的计算效率与无模型算法相当,同时,通过分离奖励期望与期望状态(预测地图),该算法可以通过简单的更新奖励期望值并保持状态期望值不变,从而快速适应奖励变化。”

(老鼠在探索方形房间时记录下来的海马体每个位置细胞的活动及放电率的变化)

这并不是Deepmind的第一篇神经科学用于人工智能的论文,在此之前Deepmind就表过至少两篇创始人Hassabis为作者的神经科学论文(参见AI科技评论之前文章:《DeepMind眼中的神经科学研究:人工智能进步的另一个重要支点》),这篇文章作者中虽然不包括Hassabis,但相对于前两篇论文更加具体,对未来的研究也更具有指导意义。

神经网络发展史

人工智能的发展与神经系统有着千丝万缕的联系。在1943年,Warren McCulloch和Walter Pitts的《 神经活动内在想法的逻辑演算 》第一次提出了如何让人造神经元网络实现逻辑功能,这也奠定了神经网络最早的数学基础和开启了人们模拟人脑神经系统开发人工智能(虽然当时还没有这个词)的早期尝试。

模仿人类神经系统的问题是:人类大脑神经系统实在太复杂了。在人类大脑神经系统中包含10^11(10的11次方)的神经元,即便现在也难以模拟。在1958年,Frank Rosenblatt通过解剖大鼠的大脑发布了一个模仿神经元的感知机,当时有研究者认为,只要神经元足够多、网络连接足够复杂,感知机就至少可以模拟部分人类智力,但在1969年,Marvin Minsky和Seymour Papert证明了感知机只能解决线性问题,还揭露了关于多层感知器的缺陷,这使得人工神经网络研究在人工智能领域很快就陷入了低谷,被基于规则和逻辑推理的专家系统所取代。

1974年,一位叫Geffory Hinton的年轻研究者发现,把多个感知机连接成一个分层的网络,即可以解决Minsky的问题。这带动了80年代连接主义的兴起,这个阶段的连接理论最初被称为分布式并行处理PDP (parallel distributed processing),他们以人工神经网络为工具方法,引领着神经科学和人工智能领域的发展,与行为学派和符号学派三足鼎立。

随之而来的问题是,如果要模拟人类大脑数量如此庞大的神经元,可能需要对几百甚至上千个参数进行调节,如何对这样复杂的网络进行训练呢?Hinton等人的发现是,通过反向传播算法可以解决多层网络的训练问题。这一算法是用来训练人工神经网络的常见方法,该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。

神经网络的现代分类器的各个方面也受到了我们所了解的大脑的视觉系统的启发。这方面研究的先驱包括Geoffrey Hinton、Yann LeCun、Yoshua Bengio等人,1998年,Yann LeCun提出了卷积神经网络(CNN),2006年,Hinton提出了深度学习的概念并在其经典论文《A fast learning alforithm for deep belief nets》中提出了深度信念网络,带来了深度学习直到今天的黄金时代;2009年,Yoshua Bengio提出了深度学习的常用模型堆叠自动编码器(Stacked Auto-Encoder,SAE),基于神经网络的研究得到进一步发扬光大。

然而人工智能专家基于神经系统的研究和思考并没有停止。如脑科学的研究结果表明,大脑中神经元的信号处理机制和连接学习方式是不同的,尤其是大脑的无意识感知和自我意识功能并不需要有监督的学习,在大脑神经系统中,非监督学习和自主学习同样占有重要的地位,相应地,对于无监督学习和迁移学习的研究也成为人工智能的热点之一。

而随着深度学习和神经科学的发展,之前对深度学习的一些基础理论也在面临着更新。例如在深度学习领域,神经元是最底层的单元;而在神经科学领域,神经元并不是最底层的单位。目前的深度神经网络主要是三种结构,即 DNN(全连接的)、CNN(卷积)和 RNN(循环),而目前的研究表明,人类神经网络可能比较类似上述三种结构的组合,层内更像DNN, 层间和CNN 很类似,在时间上展开就是RNN。这种结构上的差异也导致了深度学习研究的复杂性。

来源: Neocortical layer 6, a review & 知乎

深度学习正在面临一个拐点——一方面,基于我们最初基于人脑结构认识的理论研究已经到了一个平台期,而另一方面,如Hinton等最尖端的深度学习专家也在借助神经科学的最新发现,对之前对提出的理论进行反思,这也是近日Hinton就提出“深度学习需要推倒重来”,并表示可能要彻底放弃反向传播的由来。

在与OReilly的一次访谈中,Hinton曾经承认我们对人类神经系统的了解并不足够。“我们真不知道为什么神经元要发脉冲。一个理论是它们想要噪声,以便正则化,因为我们的参数超过数据量。”Hinton在访谈中说道。“这个理论已经出现有50多年了,但没人知道它是否正确。”

神经科学和对人脑的模仿在人工智能中曾经起着重要的作用,而对于模仿人类大脑,是否能制造出最强大的人工智能,在不同人工智能学家眼里可能会有不同的答案。一个时常被提起的例子是,我们之所以能造出飞机,是因为空气动力学的发展而并非模仿鸟类飞行的动作,但AI科技评论认为,这种从仿生到理论的循环可能是一种螺旋式的上升过程,新的神经系统发现和研究可能会推翻之前的人工智能经典理论,并随之模拟出新的人工智能网络和产生新的理论,从而推动人工智能的研究突破瓶颈得到进一步发展。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-10-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT技术精选文摘

白话深度神经网络

近些年来,深度神经网络异常火爆,各种深度神经网络架构层出不穷。大有千树万树梨花开,各领风骚数小时的趋势!

881
来自专栏数据派THU

清华刘知远:教你用HowNet在深度学习时代搞事情(附论文下载)

来源:知乎 作者:刘知远 本文共3539字,建议阅读11分钟。 本文为大家解读什么是HowNet,并且可以用HowNet在深度学习时代做些什么。 2017年12...

4408
来自专栏新智元

田渊栋:深度学习没有解决的理论问题(附 ICLR 论文 3 篇)

【新智元导读】Facebook 人工智能组研究员、围棋项目负责人田渊栋昨日在知乎专栏撰文,介绍投稿 ICLR2017 的三篇论文,其中两篇应用(包括获 Doom...

4357
来自专栏AI科技大本营的专栏

腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议(附论文下载)

腾讯AI Lab微信公众号今日发布了其第一条消息,宣布腾讯AI Lab多篇论文入选即将开幕的CVPR、ACL及ICML等顶级会议。 在AI科技大本营公众号会...

3788
来自专栏AI研习社

CS224n 更新 | 第十二讲 - 语音处理的端对端模型

自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言话语也是人工智能的重要组成部分。 NLP 的应用无处不在,因为人与人之间大部分的沟通都需要语言:...

842
来自专栏AI科技大本营的专栏

当这位70岁的Hinton老人还在努力推翻自己积累了30年的学术成果时,我才知道什么叫做生命力(附Capsule最全解析)

Hinton,这个以“深度学习之父”和“神经网络先驱”响彻AI领域的名字,他的一举一动,都是热点导向。 当我们远望一位顶级人物时,除了他的学术,也许,我们更...

3466
来自专栏AI启蒙研究院

别人都在晒18岁照片,而我却在学习~

663
来自专栏专知

KDD2018 网络表示学习最新教程:DeepWalk作者Perozzi等人带你探索最前沿

【导读】近日,数据挖掘领域最具影响力的学术会议之一的ACM SIGKDD (知识发现与数据挖掘会议)已于 8 月 19 日在英国伦敦召开。在这次会议上,来自伊利...

2234
来自专栏AI科技大本营的专栏

800万中文词,腾讯AI Lab开源大规模NLP数据集

10 月19 日,腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇。

863
来自专栏机器之心

从Yoav Goldberg与Yann LeCun争论,看当今的深度学习、NLP与arXiv风气

选自Medium、Facebook 机器之心编译 作者:Yoav Goldberg、Yann LeCun 参与:黄小天、吴攀、晏奇 最近,来自以色列 Bar ...

2567

扫码关注云+社区