机器学习的学习随想01

【AI100 导读】本文是作者在学习机器学习的过程中随手记下的一些随想,内容涉及数学原理、算法分析、系统设计和产业趋势,脑洞随时开放,思路经常穿越,采取微博文体写作,不拘泥于主题,一事一议,可长可短。谬误在所难免,目的在于抛砖引玉。

1. 线性模型是机器学习算法当中特别重要的一个,它既是最容易入门的算法,也是效果最好的算法之一。带惩罚项的线性回归和逻辑回归,在各种问题的测试当中,总是能排到前几名去。这就有点像形意拳里的五行拳,既是入门套路,又是最高级的绝技,全看功力深浅。

2. 机器学习的本质是根据证据(观察到的数据)来猜测事物背后的规律。一般来说,规律是可以表示为某个函数的。所以机器学习从某种意义上来说就是根据数据,来猜测背后支配性的规律函数。很不严谨地引述一下魏尔斯特拉斯定理,一个闭区间上不管多么复杂的连续函数,总可以用多项式函数的线性组合无限逼近。所以不管多么复杂的规律,用广义线性模型总是可以表达出来的。有人说深度学习牛逼是因为深度学习能够表示的复杂度高,恐怕不尽然,难道线性模型不能表达很高的复杂度?深度学习真正的优势还是在于它可以自动学习特征。而特征工程对于线性模型来说,往往是最难搞也是最具决定性的步骤。

3. 线性模型的另一个缺点是容易过拟合。过拟合是所有机器学习算法的死穴,本质上并没有好的办法去解决,但有一些控制手段。线性模型的控制手段就是在优化目标中添加惩罚项。

4. 带惩罚项的线性回归,最经典的是岭回归(ridge regression)。在统计学里,这个方法的大名叫做“吉洪诺夫正则化(Tikhonov regularization)”,是由前苏联国立莫斯科大学数学系教授、苏联科学院院士安德烈·吉洪诺夫于1943年斯大林格勒战役烽火连天的时候提出来的。

安德烈·吉洪诺夫

这个数学家吉洪诺夫跟前苏联著名电影演员维亚切斯拉夫·吉洪诺夫好像没什么亲戚关系。演员吉洪诺夫在《春天的十七个瞬间》里塑造的党卫军旗队长施季里茨激励普京报名参加了克格勃,是前苏联影视经典形象。

维亚切斯拉夫·吉洪诺夫

然而数学家吉洪诺夫其实更牛,他21岁就从莫斯科大学拿到数学博士学位,27岁当教授,33岁成院士,放在哪个时代都是难以想象的天才人物。吉洪诺夫是在研究积分问题时提出这个正则化方法的,而且很快广为人知了。这大概还要归功于二战时期形成的反法西斯联盟,使得苏联的科学成果也能很快传到西方。冷战之后的苏联数学家就没有这么幸运了,很多成果发表几十年后都不为西方所知。比如支持向量机,是由另一个苏联数学家弗拉基米尔·瓦普尼奇于1963年提出来的,一直到三十年后的1992年才传到西方。很显然,如果不是苏联解体,瓦普尼奇移民美国,这个算法没准还会在苏联封闭更长时间。附带一提,瓦普尼奇现在在 Facebook。

弗拉基米尔·瓦普尼奇

5. 另一个流行的惩罚回归系数的线性模型算法是 LASSO,其提出者是斯坦福大学统计系教授罗伯特·蒂什拉尼(Robert Tibshirani)。

罗伯特·蒂什拉尼

话说这个教授跟斯坦福大学的另一位统计学教授 Trevor Hastie 合著了两本书,其中 The Elements of Statistical Learning 是机器学习最经典的几本教材之一,号称 ESL,与 PRML 齐名。

但由于其数学太深,难度太大,两位教授又合著了一门简明教程,An Introduction to Statistical Learning,并且以此为教材开了一门在线公开课。我听了一点,还是觉得吴恩达的课更对胃口,所以弃剧了。再开个脑洞,ESL 这本书还有一个第三作者叫 Jerome Friedman,他是另一种惩罚线性回归算法Glmnet 的提出者。

很巧的是机器学习名著《概率图模型》的第二作者叫 Nir Friedman。难道叫 Friedman 的人很喜欢搞机器学习并且给别人做第二、三作者?不过想到经济学家弗里德曼和著名专栏作家弗里德曼应该都不懂机器学习,我也就释然了。

6. 其他的惩罚线性回归方法还有 ElasticNet, LARS, Glmnet 等。

7. 线性模型的一大优势是速度快,准确率又相当高,所以可以作为一个基线算法。解决任何问题,可以首先建一个线性模型作为基准,再去试其他的算法追求高精度。如果其他的算法效果不好,或者速度太慢,总还是可以回到线性模型。

8. 速度快也很重要,开发中便于快速迭代调参,应用中更适用于那些需要实时出结果的场合。前不久,地平线机器人的余凯在北大讲人工智能,说他看好互联网边缘的嵌入式人工智能,并且举了很多例子,是必须实时在嵌入式系统上给出判断结果的。我想如果他对于趋势的判断正确,那线性模型在未来嵌入式人工智能中肯定占据一个特别重要的位置,因为它快啊。

本文为 AI100 原创,转载需获同意。

原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-03-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

一文厘清机器学习、深度学习、统计与概率论的区别

除了风格与Supervised/Unsupervised Learning截然不同的Reinforcement Learning以外,大家虽然知道机器学习已不再...

12100
来自专栏机器之心

深度 | Vicarious详解新型图式网络:赋予强化学习泛化能力

选自Vicarious 机器之心编译 近日,人工智能初创公司 Vicarious 在官网了发表了一篇名为《General Game Playing with S...

39370
来自专栏AI科技大本营的专栏

22岁复旦大学生拿下深度学习挑战赛冠军:明明可以靠脸吃饭,却偏偏要靠才华

复旦大学Hengduo Li 编译 | AI科技大本营 参与 | 尚岩奇、周翔 近日,人工智能行车记录仪应用公司 Nexar 公布了第二届挑战赛的结果,其中,来...

35280
来自专栏新智元

重磅 | 经典教材 R. Sutton《增强学习导论》最新版(451PDF)

2016年10月18日, 世界人工智能大会技术分论坛,特设“新智元智库院长圆桌会议”,重量级研究院院长 7 剑下天山,汇集了中国人工智能产学研三界最豪华院长阵容...

54870
来自专栏量子位

真实到可怕!英伟达MIT造出马良的神笔

拿到神笔的马良,可以画物品、画动物、画食物,而且,这些画作都可以一秒钟从画面上出来,变成真实世界中存在的东西。

9030
来自专栏人工智能头条

想学AI?没那么简单、但也没那么难!(内附技术图谱)

11340
来自专栏量子位

Hinton反思新作:我说反向传播不好,但还是没谁能颠覆它

14630
来自专栏数据魔术师

机器学习|刘博士谈机器学习--机器的“是非观”

我开始写这篇公众号的时候已经是凌晨,希望我的头脑还能在写作过程中保持足够的清醒。在前两篇清谈型的文章后(没看过的还是要看一下),今天我终于要进入到机器学习的正题...

12640
来自专栏腾讯技术工程官方号的专栏

AAAI 独家 | 腾讯AI Lab 现场陈述论文:使众包配对排名聚合信息最大化的 HodgeRank

前言:腾讯AI Lab共有12篇论文入选在美国新奥尔良举行的国际人工智能领域顶级学术会议AAAI 2018。腾讯技术工程官方号编译整理了现场陈述论文《使众包配对...

769150
来自专栏量子位

20年前的吴恩达,藏在一个数据集里

今天这张照片火了。连正主吴恩达都在推特上转发了这张黑白照片。吴恩达回忆说,这张照片拍摄于大概20年前~

9040

扫码关注云+社区

领取腾讯云代金券