机器学习Lasso算法的前世今生

导语

众所周知,机器学习的模型与统计有着千丝万缕的联系。阅读本文后,你才恍然发现,鼎鼎大名的Lasso算法思想锤炼的背后,蕴藏着学生氏分布关于酿酒的小秘密,还可以窥视过去百余年统计的兴衰起落,统计学重镇如何从繁盛时期的英国逐步转移到了奋起直追的美国,以及圈儿里牛叉闪闪的大人物们那些看起来与常人无异、令人忍俊不禁的闲散轶事。

罗纳德,费希尔(Ronald Fisher)是英国的搞农业出生的, 这家伙视力却很差,特别喜欢生物统计, 由于不小心读了卡尔皮尔逊(Karl pearson)的论文而中毒。

皮尔逊这个家伙的确有点魅力,他是剑桥学数学出生的, 他提出了矩估计, 发展了卡方检验,主成分分析(PCA), 创立了概率函数簇和世界上第一个大学统计学:英国伦敦大学学院(University College London)统计学。 就是他和高尔顿(Francis Galton)一起办了统计的第一份杂志《生物统计学》,之后英国的统计就领先全球了。

高尔顿要比皮尔逊大40岁, 这家伙是个全才,指纹就是他搞出来的, 他开始研究人类学的,热衷并提出了优生学(eugenics)后,不仅仅吸引了皮尔逊,也深深的吸引了费希尔。

费希尔就和凯恩斯, 也就是达尔文的儿子一起搞了剑桥的优生学会。 他是个天才,对实验很有理解,提出了统计方法的一系列优化判断标准, 例如最大似然估计, 费希尔线性判定,充分性。

比皮尔逊小十几岁而又比费希尔大十几岁的还有一位大师是酿啤酒的搞化学的,他叫威廉戈塞(William Sealy Gosset), 他就是大名鼎鼎的学生氏, 因为他的老板不让他把酿酒的秘密发表出来, 所以他只能用笔名学生氏(Student)来发表。 他在选酒过程研究了学生分布。据说费希尔特别爱读他的论文。

费希尔有个印度的学生叫拉奥Calyampudi Radhakrishna Rao, 他和另外一个研究素数的克拉梅尔Harald Cramer提出了最优无偏估算的下界(Cramer-Rao Lower Bound CRLB), 和利用期望估算来优化估算器的RB定理(Rao-Blackwell theorem)。 其中Blackwell是布莱克韦尔(David Harold Blackwell)是伯克利的名誉教授,是美国第一位黑人院士。 也正是从拉奥开始统计的重心从英国移到了美国。其中有个叫Jerzy Neyman (1894-1981)的波兰人,在前面提到的英国伦敦大学学院当老师, 当着不爽,跑到美国,学着伦敦大学学院建立起美国第一统计系,伯克利统计学。Neyman的导师很牛,是俄罗斯搞不等式的Sergei Natanovich Bernstein(1880-1968), 其实Bernstein的导师更牛,就是David Hilbert(1862-1943),希尔伯特。

Calyampudi Radhakrishna Rao

Jerzy Neyman (1894-1981)

Maurice H. Quenouille是美国的研究统计推理的一位学者,他写过美

国早期的《统计介绍》(Introductory Statistics) 他提出了Jackknife的核心思想(1949), 后来John W. Tukey(1915-2000)后来把Jackknife正式发表出来了(1958)。Tukey是FFT的发明者, 也是钟开莱Kai Lai Chung的导师。钟开莱写了好多概率的经典教材,好多美国概率教授自称看着他的教材长大的,为美国概率教育事业做出无与伦比的贡献, 但是他本人最讨厌统计学家了。

John W. Tukey

Tukey的工作影响了Jerome H. Friedman,这个伯克利毕业的学物理的家伙,几经周折谋取到了斯坦福的统计教授(1982-)。当时Trevor Hastie正在那里读PHD, 后来1994年Trevor 他又从南非回到斯坦福和Friedman,还有他的斯坦福同学Rob Tibshirani,一起写了The Elementary of Statistics Learning。

Jerome H. Friedman

Trevor Hastie

Rob Tibshirani发明了LASSO算法, 他的老板是Bradley Efron, Efron这个家伙提出了 bootstrap方法(1979, 1981(Bayesian extension)),也正是受到了Tukey工作的影响。Efron就是斯坦福自己培养的统计博士(1964), 就这样标志着斯坦福的统计学习就自己培养起来了。后来Efron受他学生Tibshirani的LASSO影响发明了LAR算法。

Rob Tibshirani

Bradley Efron

另外伯克利的Leo Breiman受到bootstrap的启发,把分类回归树

(classification and regression trees )应用到bootstrap样本上,提出了

Bootstrap聚合 (Bootstrap aggregation)(1994)。 Breiman是分类器的大牛, 提出了决策树的CART(1984), 随机森林(Random forest)(2001)。

Leo Breiman

boosting的思想是 Robert Schapire回答(1990)Michael Kearns提出的(1988)的关于一组弱学习器能否生成强学习器的时候提出的思想。 但是一直找不到实现, 直到AdaBoost的提出(1995),也许也受到了Bagging方法的影响。 Robert Schapire 是普林斯顿的教授。 他的合作者Yoav Freund是加州大学的教授。

Robert Schapire

END

版权声明:

转载文章均来自公开网络,仅供学习使用,不会用于任何商业用途,如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜,联系邮箱:holly0801@163.com。转载大数据公众号文章请注明原文链接和作者,否则产生的任何版权纠纷与大数据无关。

原文发布于微信公众号 - 大数据(hzdashuju)

原文发表时间:2016-12-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

美国大选和累犯预测、难民调查算法一览

15740
来自专栏华章科技

中科院的井盖火了!很多人表示压根看不懂,你来试试吧

导读:中国科学院物理所的不少井盖近日换了“新装”,每个卡通图案对应着一个物理学公式,科学与艺术在24个井盖上碰撞出有趣的火花。

11020
来自专栏大数据挖掘DT机器学习

R语言构建追涨杀跌量化交易模型

作者:张丹(Conan), 程序员Java,R,Javascript 原文:http://blog.fens.me/finance-chase-sell/#c...

43880
来自专栏AI科技评论

大会 | IJCAI 2018 开幕,中国作者论文占据半壁江山,Jitrenda Malik 获卓越研究奖

AI 科技评论按:继 ICML 2018 之后,同为人工智能/机器学习顶级会议的 IJCAI 2018 也于 7 月 16 日在瑞典斯德哥尔摩开幕。

12220
来自专栏AI科技评论

ICRA 2018奖项全公布,香港大学团队获最佳会议论文

ICRA 2018 本周于澳大利亚布里斯班举行。随着会议议程的推进,今天也迎来了本次大会的重头戏——ICRA 相关奖项的颁布仪式

20030
来自专栏AI科技评论

独家 | 信号处理顶会ICASSP开幕,俞栋张长水周彤荣升IEEE Fellow

ICASSP 2018 正会已于当地时间 4 月 17 日在加拿大卡尔加里(Calgary)开幕。IEEE(电气和电子工程师协会)主办的 ICASSP(Inte...

13520
来自专栏AI科技大本营的专栏

病毒、木马变身AI后,你的杀毒软件还有意义吗?

图片:iStock 人工智能也被黑客们盯上了,你的网络安全将会受到哪些影响呢?黑客们用AI又能做出哪些坏事呢? 被人工智能攻击容易预期,升级更智能的杀毒软件就是...

37670
来自专栏新智元

2018全球计算机与工程学科排名:MIT夺冠,清华第7,中国23所高校上榜

【新智元导读】日前,世界四大权威大学排名之一的软科正式发布了《2018软科世界一流学科排名》,在计算机科学与工程学科排名中,MIT、斯坦福、CMU位列前三,中国...

7520
来自专栏深度学习与数据挖掘实战

头条|全球OCR文字识别测试最新结果公布:中国AI企业霸屏

今天,国际文档分析与识别大会(ICDAR)数据集最新结果公布,中国高校及企业包揽排行榜前五。据了解,云从科技提出的Pixel-Anchor框架在多个ICDAR测...

39720
来自专栏大数据挖掘DT机器学习

阿里大数据竞赛第一名大神github源代码分享(O2O优惠券使用预测)

队伍简介 队伍名 “诗人都藏在水底”,三位队员分别是来自北大的wepon和charles,来自中科大的云泛天音 赛题介绍 本赛题提供用户在2016年1月1日至...

58440

扫码关注云+社区

领取腾讯云代金券