专栏首页AI2ML人工智能to机器学习易图秒懂の机器学习诞生 奠基篇

易图秒懂の机器学习诞生 奠基篇

在“易图秒懂の人工智能诞生”、 “易图秒懂の符号主义诞生” 和 “易图秒懂の连接主义诞生”,我们看到人工智能的发展经历了符号主义和连接主义的壮大的洗礼。 其实它还有另外一个方向: 经验主义, 也经历了爆发成长,这就是机器学习。其实深度学习是连接主义+经验主义融合的一个产物。

但是, 机器学习在深度学习崛起之前, 基本上不愿意称自己是做人工智能的。往往形成一个鄙视链: 做机器学习的看不起做人工智能的, 做统计的看不起做机器学习的, 做概率/数学的看不起做统计的。 深度学习的大爆发, 让一切看起来变得和谐了。 谁都愿意称自己是做人工智能的。 赞赞的~~~

前言

前面讲过,人工智能的发展归根到底都可以看成两个大学的影响:哥廷根大学和剑桥大学(参考“易图秒懂の人工智能诞生")。 如果再仔细看下图,不是还有一个莱布尼茨么? 对的, 除了哲学思想, 微积分创立, 肯定只要有数学分析就有他的影响。

既然, 机器学习是人工智能的一个分支, 那么可不可以说, 机器学习归根到底也是哥廷根大学和剑桥大学的影响。 也是可以的!为什么这么说呢?等后面,我们慢慢道来。

另外, 在神经网络被搞物理的人在默默发展的时候, 尤其能量函数的提出,为Hopfield网络的发展奠定了基础, 提到了收敛性的证明。 讲到了Lyapunov, 其实他就和莱布尼茨关系巨大。 这又是怎么关联的呢?

一图抵千言

来自剑桥大学的影响

剑桥大学除了哲学, 逻辑,数学有着深刻的影响力, 还有生物学, 从剑桥走出了达尔文,达尔文影响了统计的诞生。当然还有文学,徐志摩, 林徽因~

统计学的诞生,对机器学习的发展影响巨大, 大到有时候机器学习也被统计的人称为统计学习。 对于统计历史,”Lasso简史“里面有详细的说明。 这里稍微图谱一下。 妒忌表兄达尔文的高尔顿建立了实验室,后来成为伦敦大学院的统计系, 系里跑出一个老师, 创立了美国第一个统计系--伯克利大学统计系。

在”机器学习背后的男人们“里面,我们提到, 达尔文还影响了另外一波人。 剑桥校友Mike的老板实现了McCarthy发明的LISP语言的第一个通用编译器。 而这个Mike的学生,Leslie 奠定机器学习基础的理论--PAC学习。

有了PAC学习之后, 是不是就可以了呢?

PAC学习之后,较为容易地就有了经验风险最小理论, 但是还需要NFL定理(别名:没有免费的午餐No Free Lunch定理)。 看过周志华大神的西瓜书的人,一定好奇, 为啥一上来就讲这个NFL定理?其实这个定理决定了, 框架搭好了, 根据目标不同, 优化便有差异。 而这个优化的基础是谁奠基的呢?

来自莱布尼兹的影响

彼得堡学派, 几乎奠定了优化的大部分理论基础, 直到Vapnik大神奠基了支持向量机, 提出了Margin理论。 开启了后面一切的牛B模式。 而这个彼得堡学派, 某种意义上是受到了伯努利家族的影响, 而伯努利兄弟之所以这么厉害的原因之一,也是他们有了个好朋友叫莱布尼兹。 怎么联系起来的呢?请大家移步去看我之前的文章”机器学习背后的男人们“,里面有更为详细的解释。

这样看来, 剑桥大学校友影响力下迸发了PAC学习, 莱布尼茨影响下推进了彼得堡学派做优化, 那么哥廷根大学影响了什么呢?

来自哥廷根大学的影响

又是克莱因的徒孙Lefschetz, 我们现在提到Lefschetz第三个学生, 前面有发现KKT条件的Tucker, Tucker的学生Minsky和另外一个学生McCarthy创立人工智能。第三个学生 Tukey发明了Jackknife方法, 他的一位华人学生钟开莱在斯坦福大学任教,将Jackknife的影响带到了斯坦福大学, 钟开莱的同事Efron受Jackknife影响, 发明了Bootstrap方法。 从此,开启了斯坦福大学统计学“冲上云霄”模式, 参考”Lasso简史“。

有了伯克利大学统计系和斯坦福大学的统计系影响, 基本奠定了机器学习的大厦。

小结

这里,借着人工智能的源头东风,来讲述这股风是怎么吹出机器学习的。 下次将继续讲述机器学习发展中的人物的传承关系和联系。

本文分享自微信公众号 - AI2ML人工智能to机器学习(mloptimization),作者:史春奇

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器学习经典人物关系[全]

    教师节到了,首先感激我的所有老师们, 对我的成长,这些老师们都是贵人。 部分老师更是恩人, 尤其小学数学老师, 中学英语老师, 高中数学老师,物理老师、历史老师...

    史博
  • 机器学习模型常见对比

    在“R语言和表数据分析”, 我们对常见的数据预处理流程给出一个大致的解决方案, 在这个基础上, 才能很好的谈数据质量data quality, 否则只是Garb...

    史博
  • 机器学习背后的男人们

    在人工智能的大地上, 模式识别和计算统计碰撞出了新的火花, 机器学习。 以数据驱动为出发点的各种学习理论层出不穷: 监督学习、无监督学习、强化学习、深度学习。 ...

    史博
  • 专家们最常用的15款机器学习工具

    机器学习是一项令人惊叹的技术。如果掌握了正确的使用方法,机器学习技术将势不可当。建造一个在很大程度上表现得像人类的机器,将是多么吸引人。精通机器学习工具有利于处...

    人工智能小咖
  • 人工智能、机器学习和深度学习

    [注: 本文翻译自网上的一篇文章,有删节,原文:https://medium.com/iotforall/the-difference-between-arti...

    云水木石
  • 想转行人工智能?机会来了!!!

    2018年1月 教育部印发的《普通高中课程方案和语文等学科课程标准》新加入了数据结构、人工智能、开源硬件设计等 AI 相关的课程。

    Java团长
  • 什么是机器学习和人工智能以及它们之间的差异

    机器学习和人工智能的区别:“好的,谷歌!有什么事吗?你能演奏我最喜欢的曲目或者预订一辆从宫殿路到MG路的出租车吗?”

    程序你好
  • AI大行其道,你准备好了吗?仅送给徘徊于转行AI的程序员

    用户1737318
  • 机器学习正在成为程序员的必备能力

    2017年人工智能就已经列入了国务院的人工智能发展规划中,人工智能将成为推动中国发展的新生科技力量,并在未来扮演着越来越重要的角色,在这一背景下,机器学习会慢慢...

    刀刀老高
  • 观点 | 机器学习=「新瓶装旧酒」的数据统计?No!

    随着深度学习的热度开始消退,这个梗最近开始在社交媒体上广为流传,引起了互联网上众人的讥笑。机器学习没什么好激动的,它只是对统计技术的一种补充——这种观点越来越普...

    机器之心

扫码关注云+社区

领取腾讯云代金券