Yann LeCun说学机器学习要多上物理课?

Yann LeCun曾说:「Take all the math and physics courses you can take.」

个人有一些想法在这里写一写。

1)关于数学

要学数学很容易理解。

因为学习机器学习举目皆是(虽然大多时候并不深奥)数学。机器学习的数学细节很多,但很多不意味着很深。其实大多数数学细节可能稍显繁复,但涉及的数学知识却相当基础。

你最需要的只是那人尽皆知的三板斧——微积分、线性代数、数理统计

所有理工科学生都应该认真学好的三门数学基础课——微积分、线性代数、概率论/数理统计。我本科时在USTC,这三门课加起来仅仅20个学分。但我们应当付出远远超过20个学分的精力。

这三门课打好底子,有了这个数学基础,学机器学习已是事半功倍。如果你已经学过这三门数学课,如果你想学习机器学习,那么你不妨现在就去。如果你还没有这三板斧打底,还是先去磨好斧子再砍柴为好。也稍微尊重一下机器学习这门学科好嘛。

但若你要再准备好个五把十把大斧子才砍柴,却又大可不必了。这是使错了力,我们又不是在买斧子。(你学的是机器学习呢又不是弦论对吧(⊙﹏⊙)b

就机器学习的研究来说,数学背景就是多多益善了。

两个层面来讲,

一是,很多数学方法、工具,如果你不知道,那就真是盲人摸象了。遇到了新问题就只能一脸懵逼。明明有一条路摆在那里了,你却怎么也看不见。因为你不知道有路,所以你甚至不知道该怎搜索。

二是,数学光记得还不行。得训练才能自己用。

真到做研究的时候,很多解是要自己算,很多结论是要自己证明的。不能没看到过别人怎么算,自己就什么新东西都算不出来吧。如果本科时没有受过系统的数学训练,大概推到一半就开始怀疑人生了。这条路不对吧?这个解不出来吧?这个证不出来吧?

总是跟着别人推方程,你可能会感受到不到你面对的数学问题的深度,会渐渐失去数学上的嗅觉。有时候可能差一点你就能解出来了,但你看不到终点就不敢再向前。有更多的训练,你才能对问题有敏锐的感知,才多一点人生经验。

我在过去的一篇文章里提到过一个观点,数学在限定你的能力圈。因为创造数学太难了,我们不是牛顿,不能一言不合就创造个新工具搞个微积分出来。基本上你的学术成果都是在你的数学能力圈之内耕耘出来的。在本科的时候尽量拓宽自己的疆域,后来才能有更广阔的土地用来耕耘、建造。

2)关于物理

人类历史上其实有很多学科都名噪一时,但是能像数学、物理学一样保持长久的生命力、能吸引一代又一代最杰出的头脑的学科实在凤毛麟角。

一句话,数学和物理都是人类历史上最杰出的头脑的思想结晶。

有了三板斧的内功底子后,再学几门物理基础课也是极好的。但尽可能多学物理课对非物理系的学生未免不切实际。

我向对物理学感兴趣的非物理系理工科学生安利三门物理课——理论力学、量子力学、统计力学。不用更多,就学这三门(能学满四大力学当然更好)。从左往右一个个来,学不了吃亏,学不了上当。在USTC,这三门课一共14个学分。同样的,其课程价值远远超出14个学分。个人认为,没有其他任何物理课比这三门更超值。内功、招式,应有尽有。这三门也足够带你领略物理学之博大精深了。

物理有这样一个特点,每学习一门物理科学课,你都要去熟悉一套数学工具。

就像每一门武功都有内功心法一样。内功和招式是相辅相成的。

学物理,你能获得的什么?

一是,数理训练。简单一点说,是把问题数学化然后再求解这个数学问题。

数学系学数学和物理系学数学的方式其实非常不同。虽然都被当做数学基础好,但其实数学系的同学们更擅长证定理,物理系的同学们更擅长解方程。数学家眼中的数学是很偏前者的,普通人遇到的数学问题更像后者。

论抽象的数学证明嘛,数学系不是针对谁,在座的各位都是...

单就论解方程这个技能点,物理系的训练肯定是比数学系好不少的。

另外,搞物理常常会先猜出来大概的结论,再去求解、证明。还不行就假设是对的推推看再说。还不行,我们还可以加点什么近似。这和数学圈的philosophy截然不同。

二是,物理学的思维方式。

在最基本的层面挖掘原理,从最基本的原理抽象模型。《费曼物理学讲义》可以说处处都是这种高超思维技巧的展现。还有就是,吸取物理学中处理新问题的一些历史经验。特别是量子力学和统计力学里对不直观物理系统的处理方法。

如果费曼在这个时代的话,我想他一定会对机器学习很感兴趣的。

机器学习太物理学了。尤其像古典时期的物理。

牛顿别再磨透镜,来这时代跑几个程序可好。

预计接下来十年会有一波物理学家研究Deep Learning的热潮。文章直接发到Physical Review Letters等物理顶刊上。这个时代的物理学家很饥饿。想跨界猎食的物理学家不少。

而目前Machine Learning Community里99%的人大概都对阅读PRL感到无力。一方面因为要关注的ML conference已经很多了,另一方面也因为物理学家会用ML Community非常陌生的概念和数学工具。

比如说这种类型的:

Statistical mechanics of complex neural systems and high dimensional data

https://arxiv.org/abs/1301.7115

我觉得未来非常需要能连接这个两个community的研究者。

能同时理解两个community,也能让两个community更好交流的研究者。

学点物理可能会在这点有潜在的好处。

尽管Machine Learning is not Computer Science,

但考虑到国内的培养模式,还是CS背景的学生更适合机器学习无疑。只是想做ML的CS学生多学点数学和物理也是有所裨益

最后,套用一下集成学习里的一个结论。

Zhihua Zhou:「Many could be better than all.

不是所有个体都对集体有贡献。如果你想对community有贡献,你需要减少和其他人的correlation。我想物理学里浩瀚的养分正好可以带来研究的diversity,减少跟风趋同的correlation。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180312G1B7N600?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券