CMU2017年秋季课程:深度学习——Ruslan Salakhutdinov主讲

【导读】本文是对美国卡耐基梅隆大学(CMU)2017年秋季课程——深度学习的介绍,CMU一直走在深度学习领域的前列,虽然该课程是2017年秋季开课的,但是其关于深度学习的讲解确实是非常经典的。主讲老师是CMU副教授Ruslan Salakhutdinov,课程几乎涵盖了深度学习所有的基础内容:图模型、线性模型、自编码器、学习和推理、蒙特卡洛方法、深度生成模型、生成对抗网络等。总之,该课程是非常系统和完善的深度学习系列课程,绝对是读者入门和进一步深刻理解深度学习的不二之选。专知内容组编辑整理。

授课老师 Ruslan Salakhutdinov个人主页

Ruslan Salakhutdinov是来自卡内基梅隆大学(CMU的副教授,2016年被任命为苹果首任AI总监。从整个神经网络和深度学习的历史看,最重要的拐点是2006年7月,Geoffrey Hinton为第一作者的两篇论文《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》的发布,前者首次提出了layerwise greedy pretraining的方法,开创了深度学习方向;后者提出通过最小化函数集对训练集数据的重构误差,自适应地编解码训练数据的算法deep autoencoder,作为非线性降维方法在图像和文本降维实验中明显优于传统方法,证明了深度学习方法的正确性。正是这两篇论文引起了整个学术界对深度学习的兴趣,才有了近十年来深度学习研究的突飞猛进和突破。而Ruslan Salakhutdinov,就是深度学习历史上最重要的标志性论文之一、发布在Nature杂志上的那篇《Reducing the Dimensionality of Data with Neural Networks》的第二作者。此时的他不过是刚刚进入Geoffrey Hinton门下不久的一名博士生(Ruslan Salakhutdinov于2009年获得博士学位),但并不影响其在深度学习领域中的辈分。

Ruslan Salakhutdinov对人工智能的贡献还在于学习深度生成模型的研究上。2007年前后,Ruslan Salakhutdinov与Geoffrey Hinton提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机,再使用有监督的反向传播算法进行调优(Ruslan Salakhutdinov的博士论文就是这方面的内容)。在获得博士学位后,Ruslan又花了两年时间从事博士后研究工作,从2011年起在多伦多大学担任助理教授,今年2月,他从多伦多大学转到卡内基梅隆大学,并实现了从助理教授到副教授的跨越。

从2006年的标志性论文发表到现在为止的十年中,Ruslan Salakhutdinov的研究成果层出不穷。截止本文发布之日,Ruslan Salakhutdinov的论文总引用数量达到31049次,其中近5年的引用次数为27568,这也说明了在其一直活跃在深度学习的前沿领域。

CMU2017年秋季课程:深度学习

▌深度学习

课程:

本课程包含了深度学习的理论和方法,涵盖的议题包括:

介绍

背景:线性代数,分布,概率规则。

回归,分类。

前馈神经网络,反向传播算法,流行的优化和正则化技术介绍。

应用于计算机视觉的卷积模型。

深度学习概要

图模型:有向和无向。

线性因子模型,PPCA,FA,ICA,稀疏编码及其扩展。

自动编码器及其扩展。 基于能源的模式,RBMs。

蒙特卡罗方法。

学习和推理:对比散度(CD),随机最大似然估计,分数匹配,比率匹配,伪随机估计,噪声对比估计。

退火重采样,分区函数估计。

深生成模型:深信念网络,深玻尔兹曼机器,Helmholtz机,变分自编码器,重要性加权自编码器,唤醒-睡眠算法。

生成对抗网络(GAN),生成矩匹配网络,神经自回归密度估计(NADE)。

其他内容

更多关于深度网络的正则化和优化。

序列建模:递归神经网络,序列-序列,注意力模型。

深化强化学习。

▌参考图书

Goodfellow和Yoshua Bengio和Aaron Courville(2016)深度学习书籍

http://www.deeplearningbook.org/

Christopher M. Bishop(2006)的模式识别与机器学习

https://www.microsoft.com/en-us/research/people/cmbishop/?from=http%3A%2F%2Fresearch.microsoft.com%2Fen-us%2Fum%2Fpeople%2Fcmbishop%2Fprml%2Findex.htm

你还可以参考其他书籍:

机器学习:从概率的视角理解机器学习,Kevin P. Murphy

统计学习要素:Trevor Hastie,Robert Tibshirani,Jerome Friedman(2009)

https://statistics.stanford.edu/~tibs/ElemStatLearn

信息论,推理和学习算法:David MacKay(2003)

http://www.inference.org.uk/mackay/itila/book.html

Ruslan Salakhutdinov个人主页:

http://www.cs.cmu.edu/~rsalakhu/index.html

▌第一次课PPT详细内容

-END-

专 · 知

人工智能领域主题知识资料查看获取:【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

同时欢迎各位用户进行专知投稿,详情请点击

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180118G00NJ900?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区