专栏首页AI2ML人工智能to机器学习机器学习背后的男人们

机器学习背后的男人们

在人工智能的大地上, 模式识别和计算统计碰撞出了新的火花, 机器学习。 以数据驱动为出发点的各种学习理论层出不穷: 监督学习、无监督学习、强化学习、深度学习。 这里想通过对机器学习上下六十年简史的概述, 回顾机器学习思想的主线, 以及对此贡献巨大的牛人们。 有意思的是, 这些牛人基本全是男性,比关注本公众号的主流阅读群性别比例还要恶劣。

前言

这里概述了课件(点击 阅读原文 链接下载)部分内容, 引述『机器学习的前世今生』这个主题的内容。

回顾历史大事

近二十年来, 机器学习的突飞猛进极大的影响了人们的生产生活。 有哪些重大事件呢?

回顾人工智能由来

人工智能的发展得益于非常多的学科,尤其哲学,数学,心理学和计算机的发展。

男人们

计算统计介入阶段:达尔文影响了两拨剑桥人

影响了搞计算机的人: 剑桥是一个伟大的地方, 毕业了个计算机的博士, Mike Paterson, 他的导师非常喜欢LISP语言, 自己动手写了一个。 他也非常喜欢计算机语言和自动化, 就指导他的学生Leslie Valiant做了一些计算理论和自动化方面的研究。 结果这个Leslie不得了, 把达尔文的生物进化思想引入进来, 建立了PAC自然学习( Probably Approximately Correct)的理论。 某种意义上把机器学习和生物统计联系起来了。

影响了搞生物的人:达尔文自己就是搞生物的, 高尔顿是达尔文的表弟, 他找到一个数学家皮尔逊和自己一起搞优生学, 从此建立的生物统计学(参考:Lasso简史)。

计算统计奠基阶段:跑出一个俄国男人

苏联黑科技: Vapnik在冷战时代默默的搞出了牛掰的结构风险最小,支持向量机和VC维等等, 为统计学习建立起理论强大的泛化基石。 他得益于彼得堡数学学派在不等式方面的杰出发展。

彼得堡学派:彼得大帝只要欧洲有的都想要, 他老婆想聘请欧洲最牛的数学世家的伯努利来俄国, 人家派了自己的儿子来到俄国, 他儿子又邀请的他的学生欧拉来到俄国。 欧拉去世后, 有个俄国小男孩叫切比雪夫, 他妈妈教授了他法语, 从此他一方面和法国数学通信, 一方面阅读欧拉和伯努利们留下的手稿, 选择了继承伯努利大数定理类似方向的概率不等式。 搞了切比雪夫不等式, 他的学生马尔可夫又泛化成马尔可夫不等式, 另外一个学生李雅普诺夫还搞了不动点优化理论。 从此开创了彼得堡学派。 在概率上牛的一塌糊涂。

计算统计发力阶段:伯克利和斯坦福

伯克利: Neyman 内曼从UCL伦敦大学院跑到美国后, 建立了伯克利统计系, 第二年,就让位给第二任系主任Blackwell, Blackwell特别欣赏伯克利第一波学生里面的Breiman,而Breiman又从MIT挖来了Jordan, 这一路开启了伯克利统计学在机器学习方向的牛逼模式。

斯坦福:因为靠着伯克利比较近, 看人家玩的风生水起, 自己也一心想培养牛掰学生。 譬如,Herbert Solomon创立斯坦福统计系后培养了Bradley Efron,Efron又培养了Robert Tibshirani,Tibshirani和Trevor Hastie是同学, 而Hastie的老板Werner Stuetzle 和 Jerome H. Friedman是好友, Friedman却是伯克利培养的博士。 从Efron, Tibshirani,Hastie这些斯坦福自己培养的博士在斯坦福统计学牛起来, 斯坦福统计系终于腰杆子硬了。

计算统计高级阶段:玩起了贝叶斯推理

通过贝叶斯统计的逻辑推理能力,建立起贝叶斯网络、图模型达到高级阶段。 可怜的Pearl,虽然因此拿了图灵奖, 但是记者儿子被极端组织砍头了。。。为啥不让他学机器学习呢? 就像Tibshirani一样, 机器学习父子兵 ~~~

Ryan and Rob Tibshirani 机器学习父子兵

深度学习:拟合能力和特征表达的战斗机!

辛顿、辛顿、辛顿!Hinton!!! The deep learning saga, 深度学习的传说 ( 参考视频 http://v.youku.com/v_show/id_XNDkwOTI1MDYw.html 访问外国网站 可以看https://www.youtube.com/watch?v=mlXzufEk-2E ) 。 一个布尔的后代, 三十年磨一剑! 可怜的经费, 惊人的研究成果 ~~~

Schmidhuber, Lecun和Bengio, 要么和辛顿一样, 坚守了几十年, 要么就是辛顿的学生。 还有他们的学生们, 一帮搞网络的男人们 ~~~ 能不能招点女学生!

小结

简单说来, 多学科融合诞生了人工智能,冒出感知机这个原始神经网络单元而爆发热度, 然后开始计算统计化, 诞生了机器学习, 一不小心又回归神经网络化, 冒出了深度学习, 然后统计学习的人们发现, 这个太难解释了! 而这一切,看上去一直是男人们的游戏, 最近终于有女性上场了~~~

如何数学上解释深度学习呢 ???

本文分享自微信公众号 - AI2ML人工智能to机器学习(mloptimization),作者:史春奇

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 易图秒懂の机器学习诞生 奠基篇

    在“易图秒懂の人工智能诞生”、 “易图秒懂の符号主义诞生” 和 “易图秒懂の连接主义诞生”,我们看到人工智能的发展经历了符号主义和连接主义的壮大的洗礼。 其实它...

    史博
  • 机器学习模型常见对比

    在“R语言和表数据分析”, 我们对常见的数据预处理流程给出一个大致的解决方案, 在这个基础上, 才能很好的谈数据质量data quality, 否则只是Garb...

    史博
  • 易图秒懂の符号主义诞生

    在之前的文章“易图秒懂の神经网络诞生"里面,我们谈到神经网络在感知机诞生后不久就遇冷了。 但是文章”易图秒懂の人工智能诞生“里面谈到, 人工智能的发展并没有停滞...

    史博
  • 基于TensorFlow的机器学习速成课程25讲视频全集(19-20讲)

    WZEARW
  • 基于TensorFlow的机器学习速成课程25讲视频全集(21-22讲)

    WZEARW
  • 基于TensorFlow的机器学习速成课程25讲视频全集(23-25讲)

    WZEARW
  • 独家|盘点5个TensorFlow和机器学习课程,程序员福利(附资源)

    本文为你介绍5个有关TensorFlow的机器学习课程,来帮助你进一步了解数据科学和人工智能。

    数据派THU
  • 学习了!谷歌今日上线基于TensorFlow的机器学习速成课程(中文版)

    机器之心整理 参与:思源、许迪 随着机器学习越来越受到公众的关注,很多初学者希望能快速了解机器学习及前沿技术。而今天谷歌上线了基于 TensorFlow 的机...

    机器之心
  • 吴恩达的TensorFlow实践课上线,有Python基础就能听,4个月学完

    吴恩达的deeplearning.ai上新了!新的AI课程叫做TensorFlow in Practice,面向那些希望学习使用TensorFlow编写AI程序...

    量子位
  • 吴恩达 deeplearning.ai 上新了,只需 Python 和高中数学基础

    吴恩达的deeplearning.ai上新了!新的AI课程叫做TensorFlow in Practice,面向那些希望学习使用TensorFlow编写AI程序...

    昱良

扫码关注云+社区

领取腾讯云代金券