人工智能深度学习人物关系[全]

这段时间更新较少,原因是史博国庆要结婚啦!

为庆祝祖国母亲生日和自己终于脱单,给大家献上这篇绝对的干货!也提前祝大家国庆快乐!

前言

在“机器学习经典人物关系[全]”里面我们分享了机器学习领域中巨擘们的关系, 这里我们分享人工智能领域中巨擘们的关系图谱。

在“易图秒懂の人工智能诞生”里面, 我们介绍了从罗素->维纳->麦卡洛克->皮茨->罗森布拉特这个神经网络诞生的主线; 在这个主线里面, 暗含了逻辑->控制->神经网络领域迁移。 也介绍了“二大会议”的人工智能诞生的主线:西克森研讨会->达特茅斯Dartmouth会议; 在这个主线里面,冯诺依曼和图灵的影响释放 -> 麦卡锡,闵斯基和香农的影响释放 -> 司马贺 和 纽厄尔的影响释放, 这样一脉传承的影响释放和传播。

在“易图秒懂の符号主义诞生”里面, 介绍了搞经济学的司马贺搞起人工智能来, 一发不可收拾, 司马贺和学生纽厄尔,还有另外一个学生费根鲍姆 都是图灵奖得主。 他们的突破性研究带来了专家系统, 开启了这个符号主义时代最优秀的应用。

在“易图秒懂の连接主义诞生”里面, 介绍了罗森布拉特的感知机被闵斯基的XOR问题打死之后, 虽然随后韦伯斯发明BP算法搞定XOR,但是闵斯基的这次闷棍太狠, 神经网络完全无法还魂。 新的救世主是作为物理学家的霍普菲尔德,绕道电子工程威德罗的ADALINE, 大爆发了霍普菲尔德网络, 神经网络起死回生。 这次起死回生并不容易, 霍普菲尔德得道于:1)SOM的作者,科荷伦鼓吹的 Content-Addressable Memories (CAM);学习到网络结构。 2)利特尔的能量函数(基于能量的学习); 学习到优化目标。 3)李雅普诺夫的Lyapunov Function; 学习到优化方法。 4)威德罗的ADALINE; 学习到迭代学习。 霍普菲尔德网络深深刺激了到DNA双螺旋的创建者克里克, 这位大师在继承了心理学大师曼德勒的实验室之后, 纠集了实验室三大员工:心理学大师埃斯蒂斯的学生鲁梅尔哈特; 理论化学家、认知科学大师Christopher的学生辛顿;和认知科学大师诺尔曼。 克里克就这么搞起了神经网络,并且第一次在Nature上鼓吹神经网络。 这样, 一帮心理学派的弟子们在搞神经网络的时候, 将认知科学融合了进来, 诞生了连接主义。鲁梅尔哈特和 辛顿一起, 简化了BP算法。 让BP盛行了起来。 另外, 以鲁梅尔哈特为代表的连接主义, 培养了下一代的乔丹。他和辛顿一起,同时也造就了贝叶斯网络和深度神经网络在机器学习中的极大发展。

在“易图秒懂の深度学习诞生 问题篇”,描述了霍普菲尔德网络衍生的Simple Recurrent Network 在被Schmidhuber用来做语音识别时候效果不好, 让他的硕士霍克赖特去研究为什么效果不好。 霍克赖特一发而不可收拾, 发现了Gradient Vanishing问题,搞出了LSTM,可惜Schmidhuber没有混连接主义的圈子。 乔丹的一个搞自然语言处理的博士后本吉奥开始把Gradient Vanishing问题在连接主义的圈子里宣传开了。

在“易图秒懂の深度学习诞生 发展篇”, 描述辛顿,改进了霍普菲尔德网络到玻尔兹曼机, 最后和自己的深度信念网络融合,诞生了深度玻尔兹曼机。 另外,辛顿一个搞图像识别的博士后杨乐昆再造了福島邦彦的Neocognitron, 成为了LeNet CNN。 这样DBM,LSTM, CNN三架马车带动了深度学习的发展。

哪些行业的人发展了神经网络?

在神经网络发展史上, 生物学的, 心理学的,神经科学的, 计算机的, 电子电路的, 物理的, 数学的, 逻辑的, 你方唱罢我登场, 一路不通换一路, 终于发展到今天。

搞控制、计算机的人架了骨:

搞控制的人搞了, MP神经元模型骨子里就是一个支架, 不会自我学习。 但是后来发展成立神经元。

搞计算机的人搞了Content-Addressable Memories, 也是一个骨架, 没有太多自我学习。 但是后来发展出了霍普菲尔德网络。

搞心理学,生物学,神经科学, 脑科学的人造了血:

赫布从行为学发展了Hebb Learning Rule,也启发了Delta Learning Rule, 为感知机和ADALINE的诞生, 赋予了学习机制: 学习目标和手段。

威泽尔和胡贝尔研究的视觉神经,让cross-correlation和脑相关性研究, 能量函数, 有了学习的目标。

搞数学的人赋予了髓 和 搞认知的人赋予了神:

李雅普诺夫的收敛性证明, 塔克的KKT条件,芬切尔的凸优化理论, 从此 有架构(骨),有目标(血), 有算法(髓)。 再加上搞认知的人赋予了新的分布式表达和网络的神!开启了从人工智能到深度学习的大爆发

哪些牛人在早期神经网络的应用:图像识别(人脸,手写体),语音识别,文本分析?

福島邦彦使用了Neocognitron做手写体识别。

科荷伦使用了Self-Organising Map做人脸识别。

Schmidhuber使用了RNN做语言识别。

本吉奥使用了NNLM做机器翻译。

所有这些细节,都可以从下面这个超级庞大的关系图谱中找到!

从上面这个更大的错综复杂的网络里面, 你也可以挖掘出来新的内容, 希望你也能进行按你的知识去理解一下, 哪些是你喜欢的部分, 哪些还有缺失的部分, 哪些可以反馈改进。

原文发布于微信公众号 - AI2ML人工智能to机器学习(mloptimization)

原文发表时间:2017-09-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

大数据专家教你用数据模型来找女朋友

男生和女生分别是来自不同星球的科学事实已经众所周知的了.男生们总是认为,女生们都是迷一样的生物,他们的情感状态浮动似乎是以秒单位在变化的,难以理解,更勿论预测了...

26290
来自专栏大数据文摘

用神经网络续写《权力的游戏》,这个脑洞有点大(附完整小说下载)

22940
来自专栏PPV课数据科学社区

【经典】数据科学家教你用数据模型来恋爱

男生和女生分别是来自不同星球的科学事实已经众所周知的了.男生们总是认为,女生们都是迷一样的生物,他们的情感状态浮动似乎是以秒单位在变化的,难以理解,更勿论预测了...

26040
来自专栏PPV课数据科学社区

概率的意义(深度好文)

1987年,是印度传奇数学家拉曼努扬(SrinivasaRamanujan,1887-1920)的百年诞辰。为了纪念他,有一系列的活动。当代著名统计学者, 出生...

34570
来自专栏数据科学与人工智能

【数据科学】数据科学家教你用数据模型来恋爱。

男生和女生分别是来自不同星球的科学事实已经众所周知的了.男生们总是认为,女生们都是迷一样的生物,他们的情感状态浮动似乎是以秒单位在变化的,难以理解,更勿论预测了...

21570
来自专栏SIGAI学习与实践平台

理解计算 从根号2到AlphaGo 第3季神经网络的数学模型

1910年,英国哲学家伯特兰·罗素(Bertrand Russell )和其老师怀特海(Alfred North Whitehead)合著的《数学原理》一书问世...

18450
来自专栏机器之心

2018谷歌学术期刊&出版物排名公布:CVPR挤进前20

榜单链接:https://scholar.google.com/citations?view_op=top_venues

17320
来自专栏AI2ML人工智能to机器学习

易图秒懂の神经网络诞生

在“易图秒懂の人工智能诞生"里面,简述了人工智能背后的人物关系 ( 男人们间的关系 ”机器学习背后的男人们“ )。 这里开始解释神经网络。

12040
来自专栏深度学习自然语言处理

【概率论】基础之概率概论与集合论

概率论对于我们学习机器学习,深度学习等理论,还是自然语言处理,计算机视觉等应用都是很有用的。概率论和其他线性代数,微积分等还是不太一样的,概率这样的问题,就是在...

14030
来自专栏新智元

【实测】谷歌翻译特朗普就职演讲,正确率如何(附技术原理解析)

【新智元导读】 美国新总统特朗普1月21日发表就职演讲,讲话内容受到国内高度关注。新智元使用谷歌翻译对特朗普就职演讲的内容进行了翻译实测,发现谷歌翻译的准确率相...

37980

扫码关注云+社区

领取腾讯云代金券