写这篇文章的初衷是大部分私信我的朋友都想了解如何入门 / 转行机器学习,搭上人工智能这列二十一世纪的快车。再加上这个问题每隔一阵子就会在知乎时间线上出现一次,因此想写一篇文章来 “一劳永逸” 的分享我的观点。
文章的宗旨是:
1. 指出一些自学的误区 2. 不过多的推荐资料 3. 提供客观可行的学习表 4. 给出进阶学习的建议。
这篇文章的目标读者是计划零基础自学的朋友,对数学 / 统计基础要求不高,比如:
因此,这篇文章对于已经身处机器学习领域可能帮助不大。同时再次声明这只是我的个人看法,请大家有选择的性阅读,探索适合自己的学习方法。
1.1. 不要试图掌握所有的相关数学知识再开始学习
在很多相关的回答中,我都一再强调不要试图补足数学知识再开始学习机器学习。一般来说,大部分机器学习课程 / 书籍都要求:
一般人如果想要把这些知识都补全再开始机器学习往往需要很长时间,容易半途而废。而且这些知识是工具不是目的,我们的目标又不是成为运筹学大师。建议在机器学习的过程中哪里不会补哪里,这样更有目的性且耗时更低。
1.2. 不要把深度学习作为入门的第一门课
虽然很多人都是冲着深度学习来的,但把深度学习作为机器学习第一课不是个好主意。原因如下:
更多讨论可以看我的回答:阿萨姆:深度学习的教学和课程,与传统 CS 的教学和课程有什么区别?
1.3. 不要收集过多的资料 & 分辨资料的时效性
机器学习的资料很多,动辄就有几个 G 的材料可以下载或者观看。而很多朋友都有 “收集癖”,一下子购买十几本书的人我也常常能够看到。
机器学习的发展和变化速度很快。在入门期间,建议 “小而精” 的选择资料,选择近期出版的且口碑良好的书籍。我不止一次的提到这个例子:
在很多深度学习的教科书中,尤其是 10 年以前的教科书中都还依然把 Sigmoid 当作默认的激活函数。但事实上,整流函数 (ReLu) 以及其拓展变形函数,如 Leaky ReLu 早就成为了主流的深度学习激活函数。但因为知识的滞后性,很多课程 / 书籍甚至都没有介绍 ReLu 的章节。
一般来说,我比较推荐近 5 年内出版的书籍,或者 10 年以后出版的书籍。有些书籍虽然是经典,比如 Tom Mitchell 的《机器学习》,但因为其出版已经超过 20 年,还是不建议大家购买。
在这篇文章中我所推荐的书籍和课程都相对比较经典,同时属于紧跟时代潮流的。入门阶段我推荐了 1 门课程和 2 本书,进阶阶段推荐了 1 本书,深度学习推荐了 1 门课程一本书,高级阶段推荐了 2 本额外书籍。
2.1. 硬件选择
另一个大家常问的问题是:是否可以用自己的笔记本电脑进行机器学习。答案是肯定的,大部分市面上的数据集都可以放到你的内存中运行。在入门阶段,我们很少会用到非常大的数据集,一般最大也就是 MNIST,完全可以使用个人笔记本电脑进行运行。
请不要打着学习的名义重新购买机器...
2.2. 软件选择
如果要做深度学习,Linux 还是首选,因为其对很多学习模型支持比较好(主要是深度学习的 Library)。但即使你使用的是 Windows 系统,也可以用虚拟机装 Ubuntu 来进行学习。小型的深度学习模型足够了,大型的深度学习我们很少在本地 / 个人计算机上运行。
至于编程语言,首推 Python,因为其良好的拓展支持性,主流的工具包都有 Python 版本。在特定情况下,选择 R 作为编程语言也是可以的。其他可能的语言还包括 C++、Java 和 Matlab,但我个人不大推荐。
此处也想额外提一句,因为编程属于机器学习基本要求之一,所以推荐大家可以自学一些基础编程的知识 (如 Python),在文中不再赘述。
2.3. 语言能力
学好英语,至少打下阅读和听力的基础。虽然人工智能领域中国现在已经做得很不错,但主流的书籍、期刊和会议,资料都是英文的。我们可以接受翻译版,但最好的方法还是自己有能力直接阅读。即使你将来不做机器学习,英文阅读能力还是会有很大的帮助。
入门的第一步是学习一些经典课程并配套经典书籍,一般来说这个过程在半年之内比较合适。在这个部分我介绍的课程和书籍都属于难度非常低的,对数学和编程都没什么太大的要求。
3.1.1. 吴恩达 Cousera 机器学习课程
Andrew Ng 的机器学习课程(Machine Learning | Coursera)是很多人的启蒙课程,难度适中且完全免费。Coursera 上总共有 49285 个人给出了评分,平均得分 4.9 分,满分 5 分。据我个人观察,大部分 Coursera 上的课程评分处于 4-4.5 分之间,能做到 4.9 分的课程寥寥无几。另一个值得关注的是,这门课有接近五万人给出评分,统计学知识告诉我们这个样本较大所以评分应该趋近于其真实值,比较可信。根据 Freecodecamp 的统计,这门课是所有在线 Machine Learning 课程中最受到大家好评的课程。另一个比较直接的观察是如果大家在知乎上搜索 “机器学习如何入门?”,大部分答案都提到了 Andrew 的这门入门课程,所以这是一门绝对的口碑课程。
3.1.2. Python 机器学习 & Introduction to Statistical Learning with R
在学习吴恩达的在线课程时,推荐同时阅读相关的机器学习书籍补充理论知识。我再次推荐这两本非常好的入门书籍,在我的专栏也有对于这两本书的介绍。
3.1.3. 周志华《机器学习》
周志华老师的《机器学习》也被大家亲切的叫做 “西瓜书”。虽然只有几百页,但内容涵盖比较广泛。然而和其他人的看法不同,我建议把西瓜书作为参考书而不是主力阅读书。西瓜书因为篇幅的限制,涵盖了很多的内容但无法详细的展看来讲,对于初学者自学来说实际阅读很大。这本书更适合作为学校的教材或者中阶读者自学使用,入门时学习这本书籍难度稍微偏高了一些。
我个人建议的用法是在学习网课和阅读 ISL 遇到疑惑时可以参考西瓜书的相关章节,但入门阶段没有必要一章一章的阅读,建议在这个阶段只阅读前十章即可。
在这个阶段,你已经对机器学习有了基本的了解。如果你认真的阅读了 ISL 并上完了吴恩达的课程,我相信你已经在理论上明白了什么是线性回归,什么是数据压缩,对特征工程以及简单的回归 / 预测问题有了理论上的基础。这个时候最重要的就是进行实践!
3.2.1. Kaggle 挑战赛 / 练习
Kaggle(Your Home for Data Science)在数据分析领域早已大名鼎鼎,甚至可以说是数据分析第一社区,前一阵子刚刚被谷歌收购。Kaggle 上有很多很好的数据集和挑战赛,你可以尝试这些挑战取得名次,甚至拿到奖金,对于将来找工作也非常有帮助。而且 Kaggle 的另一大优势是网友会分享他们的经验和看法,你也可以提出问题让大家来帮你提出一些修正方法。
国内也有类似的平台,比如天池大数据竞赛,其他类似的平台还包括 DataCastle。
使用 Kaggle 的目的主要是将技能落在实处,防止练就一身屠龙之技。机器学习最大的幻觉就是觉得自己什么都懂了,但等到真的使用时发现并不奏效,而 Kaggle 是一个低成本的应用机器学习的机会。
3.2.2. Sklearn 文档学习
Sklearn(scikit-learn: machine learning in Python) 是 Python 上最流行的机器学习 / 数据科学工具包,上文介绍的 Python Machine Learning 书中就大量使用 Sklearn 的 API。和使用 Kaggle 的目的一致,学习的 Sklearn 的文档也是一种实践过程。比较推荐的方法是把主流机器学习模型 Sklearn 中的例子都看一遍。
Sklearn 的文档是少数写的跟教程一样的技术文档,很具有阅读价值。举个简单的例子,假设你想学习 Python 中使用逻辑回归,就可以参考: Logistic Regression 3-class Classifier
Sklearn 的文档不仅提供了练习数据、sklearn 的相关代码实例,还提供了可视化图。
3.2.2. 周志华机器学习
再次提到周老师是因为西瓜书是值得常常翻看的一本书,在 kaggle 挑战和阅读 Sklearn 文档的过程中你还会时不时的遇到一些新的名词,比如流形学习 (manifold learning) 等。这个时候你会发现西瓜书真的是一本中级阶段大而全的书籍:)
因为深度学习是当下的热点,很多公司都在寻找深度学习人才。虽然深度学习只是机器学习的一个子集,但有兴趣朝这个方向发展的朋友可以在完成以上学习后单独学习一下深度学习。
3.3.1. 吴恩达深度学习课程
吴恩达在八月份的时候通过 Deeplearning.ai 和 Coursera 平台推出了最新系列的五门深度学习课程 (deeplearning.ai)。有条件的朋友可以通过 Coursera 学习获得证书,最近网易云课堂也上线了这门课的翻译版。如果想要上其中的课程,需要先注册报名「深度学习工程师微专业」 深度学习工程师微专业 - 一线人工智能大师吴恩达亲研 - 网易云课堂 - 网易云课堂,之后就可以分别点开每门课单独进行学习。和 Coursera 上的 DL 同步,现在云课堂也上线了五门中的前三门课程,而卷积网络 (CNN) 和循环网络 (RNN) 还未开放。
更多关于网易云课堂上深度学习课程的介绍可以看:阿萨姆:如何评价网易云课堂上线的吴恩达 Deep Learning 课程?
3.3.2. Deep Learning - by IanGoodFellow
深度学习这本书是由当下深度学习领域的几位领军人物所著,包含三大巨头之一的 Bengio,还有教父 Hinton 来作序推荐。这本书的中文本翻译由张志华教授团队负责,在 github 上免费放出了翻译版本,印刷版也可以从亚马逊中国上买到。
英文版:Deep Learning
中文版:exacity/deeplearningbook-chinese
这本书的阅读建议:
第 13-20 章为进阶章节,在入门阶段没有必要阅读。其实比较实际的做法是吴恩达的课程讲到什么概念,你到这本书里面可以阅读一些深入的理论进行概念加深,按章节阅读还是比较耗时耗力的。
恭喜你!如果你已经完成了上面的计划表,代表你已经有了相当的机器学习能力。这个阶段,最重要的就是不要贪多嚼不烂。如果你浏览知乎,会发现大家都说你必须读 Elements of Statistical Learning, MLAPP 之类的大部头。我承认阅读这样的书会有帮助,但在你有了一定的基础知识后,相信你已经知道自己需要接着做什么了也有了志同道合的朋友,我希望把选择权交还给你,而不是继续推荐成堆的课程和书籍。当然,如果你希望继续深入的话,中文可以继续阅读周志华老师的《机器学习》和李航老师的《统计学习基础》,英文可以入手《Elements of Statistical Learning》。在这个阶段,重点要形成成体系的知识脉络,切记贪多嚼不烂,切记!
从阅读论文角度来说,订阅 Arxiv,关注机器学习的顶级会议,如 ICML/NIPS 等,相关的方法在知乎上可以很容易搜索到,不在此赘述。
4.1. 研究经历
如果你还是学生,尝试尽早接触科研,进实验室。一般来说,大三的时候你应该已经有了基本的机器学习知识,尽管还比较浅。这个时候可以向老师 / 学长 / 学姐毛遂自荐进实验室,即使是无偿劳动和做基本的苦力活。进实验室有两个明显的好处:
4.2. 企业实习
上文提到过,机器学习光说不练假把式,最好的方法还是要实践。因此,应该先试着做科研,再尝试工业界实习。对待科研机会,有则就上,没有也不是太大的遗憾。我建议大部分做机器学习的朋友尽早实习,主要出于以下几个考量:
4.3. 在本职工作中使用机器学习
对于大部分已经工作的朋友来说,重新回到学校攻读学位并不现实,进研究室进行学习更是缺少机会。那么这个时候,你就可以试着把机器学习应用到你自己的工作当中。
已经有了工作 / 研究经验的朋友,要试着将自己的工作经历利用起来。举例,不要做机器学习里面最擅长投资的人,而要做金融领域中最擅长机器学习的专家,这才是你的价值主张 (value proposition)。最重要的是,机器学习的基本功没有大家想的那么高不可攀,没有必要放弃自己的本专业全职转行,沉没成本太高。通过跨领域完全可以做到曲线救国,化劣势为优势,你们可能比只懂机器学习的人有更大的行业价值。
举几个我身边的例子,我的一个朋友是做传统软件工程研究的,前年他和我商量如何使用机器学习以 GitHub 上的 commit 历史来识别 bug,这就是一个很好的结合领域的知识。如果你本身是做金融出身,在你补足上面基本功的同时,就可以把机器学习交叉运用于你自己擅长的领域,做策略研究,我已经听说了无数个 “宣称” 使用机器学习实现了交易策略案例。虽不可尽信,但对特定领域的深刻理解往往就是捅破窗户的那最后一层纸,只理解模型但不了解数据和数据背后的意义,导致很多机器学习模型只停留在好看而不实用的阶段。
虽然人们曾说二十一是生物的世纪,但现在还是人工智能的世纪。欢迎大家来试试机器学习,体验数据分析的魅力。
就像我曾在很多回答中提到,机器学习领域应该要敞开大门,让每个人都可以尝试将机器学习知识应用于他们原本的领域,摒弃人为制造的知识壁垒。唯有这样,机器学习技术才能在更多的不同领域落地,从而反哺机器学习研究本身。
科技日新月异,追逐热点是好的。但在这个浮躁的时代,不管选择什么方向最重要的就是独立思考的能力,和去伪存真的勇气。因此,看了这么多入门教程和经验分享后,我最希望的是你既不要急着全盘接受,也不要因为不对胃口全盘否定。慢下来,好好想想,制定适合自己的计划,这大概才是做科学工作的正确态度。
在思考之后,拒绝外界的噪音,无论是鼓励还是嘲笑。抱着 “不撞南山不回头” 的信念,继续朝机器学习的高峰攀登。
或许,科技领域正因为有了我们这群 “书呆子” 才显得尤为可爱 ʕ•ᴥ•ʔ