深度学习的起源与先行者

在二十世纪五十年代就存在深度学习的概念了。麦肯锡全球研究院发文简要回顾了深度学习是如何从概念发展为现实的,而使之实现的关键人物又是谁。

文章表示,要书写深度学习的完整历史还为时过早,有些细节尚存在争议,但是我们已经能追寻其公认的起源概貌,虽然还不完整,也能确定一些先驱者了。沃伦·麦卡洛克(WarrenMcCulloch)和沃尔特·皮茨(Walter Pitts)就名列其中。他们早在1943年就提出了人工神经元,这是大脑中“神经网络”的计算模型。还有美国斯坦福大学(Stanford University)的伯纳德·威德罗(BernardWidrow)和泰德·霍夫(Ted Hoff),他们在二十世纪五十年代末期开发了一种神经网络应用,降低电话线中的噪音。

同一时期,美国心理学家弗兰克·罗森布拉特(Frank Rosenblatt)引入了“感知器”这种设备的概念,模拟大脑的神经结构,并展现出学习的能力。后来,美国麻省理工学院(MIT)的马文·明斯基(Marvin Minsky)和西摩·帕普特(SeymourPapert)在其1969年出版的书《感知器》中,用数学的方法展示了感知器只能进行很基础的任务,所以这项研究暂停。他们的书还讨论了训练多层神经网络的难点。

1986年,加拿大多伦多大学(University of Toronto)的杰弗里·辛顿(Geoffrey Hinton)与同事大卫·鲁姆哈特(DavidRumelhart)和罗纳德·威廉姆斯(Ronald Williams)发表了目前很著名的反向传播训练算法,解决了这一训练难题,但有些业内人士指出芬兰数学家赛普·林纳因马(SeppoLinnainmaa)早在二十世纪六十年代就已经发明了反向传播。美国纽约大学(New York University)的杨立昆(Yann LeCun)率先将神经网络应用于图像识别任务,他在1998年发表的文章中定义了卷积神经网络,这种神经网络模拟人类的视觉皮层。同期,约翰·霍普菲尔德(JohnHopfield)推广了“霍普菲尔德”网络,这是首个循环神经网络。1997年,尔根·施米德休伯(JürgenSchmidhuber)和赛普·霍克赖特(Sepp Hochreiter)进一步扩展了该网络,他们引入了长短期记忆模型(long-short termmemory, LSTM),极大地提高了循环神经网络的效率和实用性。2012年,辛顿和他的学生在著名的 ImageNet 竞赛中取得了突出的结果,彰显了深度学习的强大。该竞赛以李飞飞等人整理的数据集为基础。与此同时,杰弗里·迪恩(JeffDean)和吴恩达(Andrew Ng)正在谷歌大脑(Google Brain)进行大规模图像识别方面的突破性工作。

深度学习也增强了强化学习这一已存在的领域,理查德·萨顿(Richard Sutton)就是其中一位顶尖的研究人员,他牵头让谷歌DeepMind开发的系统取得了多次棋类比赛的胜利。2014年,伊恩·古德费洛(IanGoodfellow)发表了一篇关于生成式对抗网络的文章,这种网络与强化学习已成为了该领域近期多个研究的焦点。

人工智能(AI)能力的持续进步让斯坦福大学启动了“人工智能百年研究”(One Hundred Year Study on Artificial Intelligence)项目。该项目由微软研究院院长埃里克·霍维茨(EricHorvitz)发起,是基于他和微软研究院的同事所进行的长期研究。过去几年里,众多研究先驱的研究结果和指导让我们受益良多。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2018-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

资源 | 全机器学习和Python的27个速查表(完整版)

1534
来自专栏AI2ML人工智能to机器学习

平均场思想

首先要说明的, 这里的平均场是指机器学习中的平均场, 不是物理里面的平均场(请物理的同胞出门右拐,当然也可以贻笑大方下下)。 有人说,这有什么差异呢? Yan...

1262
来自专栏大数据文摘

Gary Marcus再发万字长文,列14个Q&A回应机器学习批判言论

1615
来自专栏企鹅号快讯

数据挖掘中最易栽的十个大坑

欢迎关注数据超市微信公众号 按照 Elder 博士的总结,这 10 大易犯错误包括: 1. 太关注训练( Focus on Training ) 2. 只依赖一...

29312
来自专栏量子位

仅用18天,英伟达新型GAN合成真假难辨高清明星脸

安妮 编译整理 量子位 出品 | 公众号 QbitAI 考眼力:你能分出下面哪张图是电脑合成的吗? 是这位神似年轻时莱昂纳多的神秘男子—— ? 还是这位卷发碧瞳...

2833
来自专栏数据的力量

数据挖掘中易犯的10大错误

1415
来自专栏量子位

中国团队再次称雄AI大赛,微软谷歌FB都甩在身后

李林 假装发自 威尼斯 量子位 出品 | 公众号 QbitAI 又一次!中国团队拿下一项AI赛事的多个大奖! 8天的计算机视觉顶会ICCV 2017在威尼斯悄然...

3104
来自专栏AI研习社

6 次 Kaggle 计算机视觉类比赛赛后感

我从 2017 年年初开始接触 Kaggle。曾翻阅知乎上很多关于 Kaggle 的回答和文章,然而逐渐发现大部分文章中提到的经验和技巧是针对传统 machin...

3262
来自专栏腾讯大数据的专栏

机器学习 刀光剑影 之屠龙刀

机器学习是一个大武林,这里面江湖人士颇多,“发明”出来的算法兵器也是五花八门,浩瀚如海,足够你数上三天两夜了。然而,这些兵器行走江湖能用的不多,真正无敌的更是屈...

2058
来自专栏机器之心

资源 | Bloomberg推出在线免费课程:《机器学习基础》

课程链接:https://bloomberg.github.io/foml/#home

1052

扫码关注云+社区

领取腾讯云代金券