Deepmind“预测地图”论文背后:神经科学或将助力AI迎来新突破

对人类神经网络的理解越来越在左右人工智能的未来研究,连Deepmind也不例外。

2017年10月2日,《NATURE NEUROSCIENCE》发表了Deepmind的一篇《The hippocampus as a predictive map》的论文。这篇论文中,Deepmind通过对主管人类长期记忆行为的“海马体”(hippocampus)神经元活动的研究,进一步提出了可以转化为神经网络架构的“预测图”理论。

在博客中,Deepmind这样写到:

“传统观点认为海马体只表示动物的现状,尤其在执行走迷宫之类的空间任务中。这种观点在发现啮齿动物的海马体中的“位置细胞”后被广泛传播,当动物处于特定位置时,它们会选择性地放电。虽然这个理论解释了许多神经生理学发现,但并不完全解释为什么海马体也参与其他功能,包括记忆,关系推理和决策等。 我们认为,海马体用它们预测到的未来状态来展示代表每一种情况。例如,如果你要下班回家(你当前的状态),你的海马体可能会预测你很可能很快会通勤回家,到学校接孩子,或者更长远一点——到家了。海马体预测这些后期状态来表现出当前的状态,从而传达了对未来事件的摘要表达,也就是我们正式说的“后续表征”(Sucessor Representation)。我们认为,这种具体形式的预测图可以让大脑在奖励不断变化的环境中快速适应,而无需运行代价昂贵的未来模拟。 这一理论启发我们在新算法中结合了基于模型的算法的灵活性和无模型算法中的高效性,由于计算只是简单的加权相加,因此该算法的计算效率与无模型算法相当,同时,通过分离奖励期望与期望状态(预测地图),该算法可以通过简单的更新奖励期望值并保持状态期望值不变,从而快速适应奖励变化。”

(老鼠在探索方形房间时记录下来的海马体每个位置细胞的活动及放电率的变化)

这并不是Deepmind的第一篇神经科学用于人工智能的论文,在此之前Deepmind就表过至少两篇创始人Hassabis为作者的神经科学论文(参见AI科技评论之前文章:《DeepMind眼中的神经科学研究:人工智能进步的另一个重要支点》),这篇文章作者中虽然不包括Hassabis,但相对于前两篇论文更加具体,对未来的研究也更具有指导意义。

神经网络发展史

人工智能的发展与神经系统有着千丝万缕的联系。在1943年,Warren McCulloch和Walter Pitts的《 神经活动内在想法的逻辑演算 》第一次提出了如何让人造神经元网络实现逻辑功能,这也奠定了神经网络最早的数学基础和开启了人们模拟人脑神经系统开发人工智能(虽然当时还没有这个词)的早期尝试。

模仿人类神经系统的问题是:人类大脑神经系统实在太复杂了。在人类大脑神经系统中包含10^11(10的11次方)的神经元,即便现在也难以模拟。在1958年,Frank Rosenblatt通过解剖大鼠的大脑发布了一个模仿神经元的感知机,当时有研究者认为,只要神经元足够多、网络连接足够复杂,感知机就至少可以模拟部分人类智力,但在1969年,Marvin Minsky和Seymour Papert证明了感知机只能解决线性问题,还揭露了关于多层感知器的缺陷,这使得人工神经网络研究在人工智能领域很快就陷入了低谷,被基于规则和逻辑推理的专家系统所取代。

1974年,一位叫Geffory Hinton的年轻研究者发现,把多个感知机连接成一个分层的网络,即可以解决Minsky的问题。这带动了80年代连接主义的兴起,这个阶段的连接理论最初被称为分布式并行处理PDP (parallel distributed processing),他们以人工神经网络为工具方法,引领着神经科学和人工智能领域的发展,与行为学派和符号学派三足鼎立。

随之而来的问题是,如果要模拟人类大脑数量如此庞大的神经元,可能需要对几百甚至上千个参数进行调节,如何对这样复杂的网络进行训练呢?Hinton等人的发现是,通过反向传播算法可以解决多层网络的训练问题。这一算法是用来训练人工神经网络的常见方法,该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。

神经网络的现代分类器的各个方面也受到了我们所了解的大脑的视觉系统的启发。这方面研究的先驱包括Geoffrey Hinton、Yann LeCun、Yoshua Bengio等人,1998年,Yann LeCun提出了卷积神经网络(CNN),2006年,Hinton提出了深度学习的概念并在其经典论文《A fast learning alforithm for deep belief nets》中提出了深度信念网络,带来了深度学习直到今天的黄金时代;2009年,Yoshua Bengio提出了深度学习的常用模型堆叠自动编码器(Stacked Auto-Encoder,SAE),基于神经网络的研究得到进一步发扬光大。

然而人工智能专家基于神经系统的研究和思考并没有停止。如脑科学的研究结果表明,大脑中神经元的信号处理机制和连接学习方式是不同的,尤其是大脑的无意识感知和自我意识功能并不需要有监督的学习,在大脑神经系统中,非监督学习和自主学习同样占有重要的地位,相应地,对于无监督学习和迁移学习的研究也成为人工智能的热点之一。

而随着深度学习和神经科学的发展,之前对深度学习的一些基础理论也在面临着更新。例如在深度学习领域,神经元是最底层的单元;而在神经科学领域,神经元并不是最底层的单位。目前的深度神经网络主要是三种结构,即 DNN(全连接的)、CNN(卷积)和 RNN(循环),而目前的研究表明,人类神经网络可能比较类似上述三种结构的组合,层内更像DNN, 层间和CNN 很类似,在时间上展开就是RNN。这种结构上的差异也导致了深度学习研究的复杂性。

来源: Neocortical layer 6, a review & 知乎

深度学习正在面临一个拐点——一方面,基于我们最初基于人脑结构认识的理论研究已经到了一个平台期,而另一方面,如Hinton等最尖端的深度学习专家也在借助神经科学的最新发现,对之前对提出的理论进行反思,这也是近日Hinton就提出“深度学习需要推倒重来”,并表示可能要彻底放弃反向传播的由来。

在与OReilly的一次访谈中,Hinton曾经承认我们对人类神经系统的了解并不足够。“我们真不知道为什么神经元要发脉冲。一个理论是它们想要噪声,以便正则化,因为我们的参数超过数据量。”Hinton在访谈中说道。“这个理论已经出现有50多年了,但没人知道它是否正确。”

神经科学和对人脑的模仿在人工智能中曾经起着重要的作用,而对于模仿人类大脑,是否能制造出最强大的人工智能,在不同人工智能学家眼里可能会有不同的答案。一个时常被提起的例子是,我们之所以能造出飞机,是因为空气动力学的发展而并非模仿鸟类飞行的动作,但AI科技评论认为,这种从仿生到理论的循环可能是一种螺旋式的上升过程,新的神经系统发现和研究可能会推翻之前的人工智能经典理论,并随之模拟出新的人工智能网络和产生新的理论,从而推动人工智能的研究突破瓶颈得到进一步发展。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-10-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

KDD Cup 2018 冠军「 first floor to eat latiao」:为什么取这个队名?因为大家都爱辣条

提到 KDD Cup,相信数据挖掘领域的同学并不陌生。作为目前数据挖掘领域最有影响力、最高水平的国际顶级赛事,KDD Cup 至今已举办 21 届,每年都会吸引...

1131
来自专栏新智元

【无监督学习】我们如何教人类婴儿学习,也如何教AI

【新智元导读】这篇文章讨论了在深度学习中为什么高质量、有标签的数据如此重要,从哪里得到这些数据,以及如何有效使用它们。作者最后提出,解决训练数据缺乏的方法可以是...

3378
来自专栏量子位

“众矢之的”马库斯回应14个问题,将深度学习质疑到底

安妮 维金 李杉 编译自 Medium 量子位 出品 | 公众号 QbitAI 深度学习的质疑者中有位战士。 他有底气与大牛Yann LeCun激辩AI是否需要...

36610
来自专栏大数据挖掘DT机器学习

数据挖掘中最易栽的11个大坑

按照Elder博士的总结,11大易犯错误:   1、缺乏数据   2、太关注训练   3、只依赖一项技术   4、提错了问题   5、只靠数据来说话   6...

2995
来自专栏数据科学与人工智能

【经验】普通程序员如何转做人工智能

小编邀请您,先思考: 1 您擅长那种编程语言? 2 您了解深度学习,机器学习和人工智能吗? 我曾经也只是一个只懂 ACM 竞赛相关算法的普通程序员,误打误撞接触...

4188
来自专栏人工智能头条

我在机器学习踩过的坑,现在告诉你怎么跳过去

人工智能(其实本禅师认为目前看来翻译成人造智能可能更直白一点)毫无疑问,已经是科技趋势,却又是门槛相对较高、对学习者要求非常高的一门科学。

1813
来自专栏AI科技评论

微软亚洲研究院刘铁岩博士:迎接深度学习的“大”挑战

AI科技评论按:本文根据刘铁岩博士在中国人工智能学会AIDL第二期人工智能前沿讲习班*机器学习前沿所作报告《迎接深度学习的“大”挑战》编辑整理而来,发文前已得到...

37910
来自专栏新智元

【再论深度学习必死】马库斯回应14大质疑,重申深度学习怀疑论

作者:Gary Marcus 翻译:新智元编辑部 【新智元导读】深度学习论战再起,NYT心理学家Gary Marcus如约写了一篇偏技术的文章,回应对他此前提出...

3334
来自专栏AI科技评论

深度 | 微软如何通过人工智能将你的手机变成植物百科全书

你是否遇到过这种情况?——外出与小孩散步,TA发现一朵很漂亮的花,跑过来问你是什么,但是你突然愣住了—因为你并不知道它是什么花。 目前世界上至少存在250000...

3877
来自专栏ATYUN订阅号

研究人员正尝试用AI替代动物测试,但准确率欠佳

仅在欧洲,2011年最常进行的九项动物试验有57%的几率导致动物致命。几十年来,动物权利积极分子一直抗议这一有争议的做法,这一点也不足为奇。

1106

扫码关注云+社区

领取腾讯云代金券