CMU2017年秋季课程:深度学习——Ruslan Salakhutdinov主讲(附PPT下载)

【导读】本文是对美国卡耐基梅隆大学(CMU)2017年秋季课程——深度学习的介绍,CMU一直走在深度学习领域的前列,虽然该课程是2017年秋季开课的,但是其关于深度学习的讲解确实是非常经典的。主讲老师是CMU副教授Ruslan Salakhutdinov,课程几乎涵盖了深度学习所有的基础内容:图模型、线性模型、自编码器、学习和推理、蒙特卡洛方法、深度生成模型、生成对抗网络等。总之,该课程是非常系统和完善的深度学习系列课程,绝对是读者入门和进一步深刻理解深度学习的不二之选。专知内容组编辑整理。

授课老师 Ruslan Salakhutdinov个人主页

Ruslan Salakhutdinov是来自卡内基梅隆大学(CMU的副教授,2016年被任命为苹果首任AI总监。从整个神经网络和深度学习的历史看,最重要的拐点是2006年7月,Geoffrey Hinton为第一作者的两篇论文《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》的发布,前者首次提出了layerwise greedy pretraining的方法,开创了深度学习方向;后者提出通过最小化函数集对训练集数据的重构误差,自适应地编解码训练数据的算法deep autoencoder,作为非线性降维方法在图像和文本降维实验中明显优于传统方法,证明了深度学习方法的正确性。正是这两篇论文引起了整个学术界对深度学习的兴趣,才有了近十年来深度学习研究的突飞猛进和突破。而Ruslan Salakhutdinov,就是深度学习历史上最重要的标志性论文之一、发布在Nature杂志上的那篇《Reducing the Dimensionality of Data with Neural Networks》的第二作者。此时的他不过是刚刚进入Geoffrey Hinton门下不久的一名博士生(Ruslan Salakhutdinov于2009年获得博士学位),但并不影响其在深度学习领域中的辈分。

Ruslan Salakhutdinov对人工智能的贡献还在于学习深度生成模型的研究上。2007年前后,Ruslan Salakhutdinov与Geoffrey Hinton提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机,再使用有监督的反向传播算法进行调优(Ruslan Salakhutdinov的博士论文就是这方面的内容)。在获得博士学位后,Ruslan又花了两年时间从事博士后研究工作,从2011年起在多伦多大学担任助理教授,今年2月,他从多伦多大学转到卡内基梅隆大学,并实现了从助理教授到副教授的跨越。

从2006年的标志性论文发表到现在为止的十年中,Ruslan Salakhutdinov的研究成果层出不穷。截止本文发布之日,Ruslan Salakhutdinov的论文总引用数量达到31049次,其中近5年的引用次数为27568,这也说明了在其一直活跃在深度学习的前沿领域。

CMU2017年秋季课程:深度学习

▌深度学习



  • 课程:

本课程包含了深度学习的理论和方法,涵盖的议题包括:

  • 介绍

  • 背景:线性代数,分布,概率规则。
  • 回归,分类。
  • 前馈神经网络,反向传播算法,流行的优化和正则化技术介绍。
  • 应用于计算机视觉的卷积模型。
  • 深度学习概要

  • 图模型:有向和无向。
  • 线性因子模型,PPCA,FA,ICA,稀疏编码及其扩展。
  • 自动编码器及其扩展。 基于能源的模式,RBMs。
  • 蒙特卡罗方法。
  • 学习和推理:对比散度(CD),随机最大似然估计,分数匹配,比率匹配,伪随机估计,噪声对比估计。
  • 退火重采样,分区函数估计。
  • 深生成模型:深信念网络,深玻尔兹曼机器,Helmholtz机,变分自编码器,重要性加权自编码器,唤醒-睡眠算法。
  • 生成对抗网络(GAN),生成矩匹配网络,神经自回归密度估计(NADE)。
  • 其他内容

  • 更多关于深度网络的正则化和优化。
  • 序列建模:递归神经网络,序列-序列,注意力模型。
  • 深化强化学习。

▌参考图书



  • Goodfellow和Yoshua Bengio和Aaron Courville(2016)深度学习书籍 http://www.deeplearningbook.org/
  • Christopher M. Bishop(2006)的模式识别与机器学习 https://www.microsoft.com/en-us/research/people/cmbishop/?from=http%3A%2F%2Fresearch.microsoft.com%2Fen-us%2Fum%2Fpeople%2Fcmbishop%2Fprml%2Findex.htm
  • 你还可以参考其他书籍:

  • 机器学习:从概率的视角理解机器学习,Kevin P. Murphy
  • 统计学习要素:Trevor Hastie,Robert Tibshirani,Jerome Friedman(2009) https://statistics.stanford.edu/~tibs/ElemStatLearn
  • 信息论,推理和学习算法:David MacKay(2003) http://www.inference.org.uk/mackay/itila/book.html

Ruslan Salakhutdinov个人主页:

http://www.cs.cmu.edu/~rsalakhu/index.html

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“CMUDL” 就可以获取 课程全部PPT下载链接~

▌第一次课PPT详细内容



原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-01-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数说工作室

这是一份开光的课程 |《神经网络》中文字幕版(1.3 & 1.4)

《Neutral Network for Machine Learning》(机器学习中的神经网络)系列课程,是深度学习大神 Geoffrey Hinton 毕...

2917
来自专栏大数据挖掘DT机器学习

R语言与机器学习(分类算法)logistic回归

由于我们在前面已经讨论过了神经网络的分类问题,如今再从最优化的角度来讨论logistic回归就显得有些不合适了。Logistic回归问题的最优化问题可以表述为:...

7284
来自专栏Vamei实验室

概率论08 随机变量的函数

作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!

1632
来自专栏数值分析与有限元编程

Jacobi方法求矩阵特征值的算例及代码

Jacobi方法用于求实对称阵的全部特征值、特征向量。对于实对称阵 A,必有正交阵 Q ,使 QT A Q = Λ 其中Λ是对角阵,其主对角线元素λii是A的特...

3234
来自专栏CreateAMind

变分自编码器(Variational Autoencoder, VAE)通俗教程,细节、基础、符号解释很齐全

现在有一个数据集DX(dataset, 也可以叫datapoints),每个数据也称为数据点。

1003
来自专栏CreateAMind

变分自编码器(Variational Autoencoder, VAE)通俗教程,细节、基础、符号解释很齐全

现在有一个数据集DX(dataset, 也可以叫datapoints),每个数据也称为数据点。

1103
来自专栏机器之心

学界 | 从感知机到GAN,机器学习简史梳理

选自chatbotnewsdaily 机器之心编译 参与:蒋思源、李亚洲 机器学习是人工智能的一个重要分支,也是如今学界、产业界的热门研究。公司、高校倾倒了许多...

3219
来自专栏AI科技大本营的专栏

福利 | 图像的语义分割—CRF通俗非严谨的入门

本文节选自《深度学习轻松学》第九章—图像的语义分割,作者冯超。 福利提醒:想要获得本书,请在评论区留言,分享你的深度学习经验,第8、18、28、38以及48楼...

7916
来自专栏云时之间

NLP系列学习:数据平滑

各位小伙伴们大家好,数据平滑这个地方我想使用宗成庆老师的书中的一个例子进行开始,从而引出这一篇文章的主题,我们为什么要需要数据平滑以及常用的数据平滑的模型,话不...

3067
来自专栏深度学习之tensorflow实战篇

R语言与机器学习学习笔记(分类算法

logistic回归及其MLE 当我们考虑解释变量为分类变量如考虑一个企业是否会被并购,一个企业是否会上市,你的能否考上研究生 这些问题时,考虑线性概率模型P...

4958

扫码关注云+社区

领取腾讯云代金券