CMU教授Ruslan的机器学习课程介绍

对于Ruslan Salakhutdinov，相信财经类高校的师生对他一定不熟悉。

他的基本信息如下：CMU（卡耐基梅隆）大学计算机系的副教授，苹果公司首任AI总监。

“深度学习”三巨头：Geoffrey Hinton、杨立昆、Yoshua Bengio

图灵奖2019已经揭晓，颁发给了深度学习理论，获奖的是“深度学习理论三巨头”。Ruslan Salakhutdinov一直和“三巨头”有非常深的渊源。首先说一下，“三巨头”的领头Geoffrey Hinton教授供职于加拿大多伦多大学，而Ruslan Salakhutdinov在转入CMU之前一直在多伦多大学教授机器学习理论课程，他分别在2013-2015年在多伦多大学的计算机科学学院和统计学院开设了本科大四的机器学习理论课程，这也是他现在在CMU大学开始《深度学习理论》的基础。

下面我们继续说一下Ruslan Salakhutdinov为何不是泛泛之辈。

深度学习理论的转折点是在2006年，Geoffrey Hinton教授的两篇《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》前者正式确立了深度学习理论，后者则是提出了深度自适应编码的概念，较为系统的将神经网络引入无监督学习领域，也从一个侧面证明了深度学习方法的正确性，这两篇文章都是有跨时代意义的，这为后来人工智能的第四次爆发奠定了基础。Hinton教授的第二篇文章的第二作者就是Ruslan。

Ruslan在获得博士学位后，又在多伦多大学做了两年博士后，然后留校担任助理教授，2016年开始在CMU担任副教授至今。

以下是Ruslan开设的课程介绍：

CMU任教期间

2019年春季学期：深度学习理论

学习链接：https://deeplearning-cmu-10707.github.io/syllabus.html

2016-2017春季学期：深度强化学习与控制理论

学习链接：https://katefvision.github.io/

多伦多大学任教期间

2015-2016秋季学期：

机器学习理论的统计方法与数据挖掘（统计专业）

学习链接：http://www.cs.toronto.edu/~rsalakhu/STA414_2015/

机器学习导论（计算机科学专业）

学习链接：http://www.cs.toronto.edu/~rsalakhu/CSC411/

2014-2015春季学期

机器学习理论的统计方法与数据挖掘（统计专业）【同上】

大规模机器学习理论（统计专业）

学习链接：http://www.cs.toronto.edu/~rsalakhu/STA4273_2015/

Ruslan始终非常喜欢使用Bishop的教材。

此外，我们可以发现他在多伦多大学任教期间，在讲授机器学习理论时还是按照较为传统的思路授课。

较为传统的机器学习理论的授课模式是较少的花时间讲解深度学习理论，尤其是无监督学习视角下的深度学习理论。

主要包括：

受限玻尔兹曼机、

深度置信网络、

深度自编码机、

GAN算法等。

传统机器学习理论主要将精力花在了讲授：

回归模型模型

质朴贝叶斯分类器

决策树

随机森林

LASSO与岭回归

Logistic回归

SVM理论

EM算法等聚类分析

HMM等。

一般而言，高级机器学习理论主要包括以下基本教材：