【干货】最新深度学习课程，多伦多大学“神经网络与机器学习导论（2018年Spring）（附课件下载）

【导读】多伦多大学计算机系助理教授Roger Grosse 开设的《神经网络与机器学习导论》课程涵盖了从机器学习基础知识到深度学习、强化学习等高阶内容，是AI从业者最佳的学习上手材料之一。

http://www.cs.toronto.edu/~rgrosse/

概述

机器学习是一套强大的技术，它允许计算机从数据中学习，而不是让人类专家手工编程行为。神经网络是一类最初受大脑启发的机器学习算法，但最近在实际应用中取得了很多成功。它们是谷歌( Google )和Facebook等公司生产系统的核心，用于人脸识别、语音到文本以及语言理解。

本课程概述了神经网络算法的基本思想和最新进展。本课程的前三分之二大致集中在有监督的学习上，即训练网络在有大量标记的行为示例时产生特定的行为。最后1 / 3集中于无监督学习和强化学习。

课程地址

http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/

课程内容目录

• 第一讲:导言 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec01.pdf 讲义地址： http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/readings/L01%20Introduction.pdf 什么是机器学习和神经网络，你会用它们做什么？监督、无监督和强化学习。本课程的组织方式。
• 第二讲:线性回归 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec02.pdf 讲义地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/readings/L02%20Linear%20Regression.pdf
• 线性回归，一种有监督的学习任务，您需要在其中预测标量值目标。将该问题转化为优化问题，直接求解或梯度下降求解。矢量化。特征映射和多项式回归。泛化:过拟合、欠拟合和验证。
• 第三讲:线性分类 二元线性分类。可视化线性分类器。感知器算法。线性分类器的极限。 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec03.pdf 讲义地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/readings/L03%20Linear%20Classifiers.pdf
• 第四讲:学习分类器 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec04.pdf 讲义地址: http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/readings/L04%20Training%20a%20Classifier.pdf 二进制分类中损失函数的比较。交叉熵损失、logistic激活函数和logistic回归。铰链损失。多向分类。凸损失函数。梯度检查。(注:这实际上是一次半的讲座，会遇到第五次讲座的安排。) )
• 第五讲:多层感知器 多层感知器。激活函数的比较。将深层神经网络视为函数组合和特征学习。线性网络的局限性和非线性网络的普适性。 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec05.pdf 建议阅读:深度学习书第6.1 - 6.4节
• 第六讲:反向传播 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec06.pdf 反向传播算法，一种计算梯度的方法，我们在整个过程中使用。
• 第7讲:分布式表示 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec07.pdf 语言建模、n - gram模型(局部化表示)、神经语言模型(分布式表示)和跳跃图(另一分布式表示)。
• 第八讲:优化 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec08.pdf 如何使用通过反向投影计算的梯度。优化景观特点:局部优化、鞍点优化、高原优化、沟壑优化。随机梯度下降和动量。 建议阅读:深度学习书，第8章
• 第九讲:泛化 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec09.pdf 偏差/方差分解、数据增加、限制容量、提前停止、权重衰减、系综、随机正则化、超参数调整。 建议阅读:深度学习书，第7章
• 第10讲:自动微分 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec10.pdf 如何实现自动微分系统。基于自学者的教学实施签名。
• 第11讲:卷积网络 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec11.pdf 卷积运算。卷积层和池层。等方差和不变性。conv网络的反向传播规则。
• 第12讲:图像分类 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec12.pdf conv网络体系结构在手写体数字和对象分类中的应用。测量坐标网的尺寸。
• 第十三讲:追赶 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec13.pdf 没有第十三课，因为我们迷信。此外，我们已经落后了一个完整的演讲时间表，所以这将使时间表与实际涵盖的内容同步。
• 第14课:优化输入 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec14.pdf
• 第15讲:递归神经网络 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec15.pdf 递归神经网络。时光倒流。将RNNs应用于语言建模和机器翻译。
• 第16课:学习长期依赖关系 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec16.pdf 为什么RNN梯度爆炸和消失，无论是从背面机械的角度，还是从RNN计算的函数的概念。处理方法:渐变裁剪、输入反转、LSTM。
• 第17讲:学习和注意 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec17.pdf 深层残差网络。机器翻译和字幕生成的注意模型。
• 第18讲:学习概率模型 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec18.pdf 极大似然估计。贝叶斯参数估计和最大后验估计的基础。
• 第19讲:生成对抗网络 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec19.pdf 专题待定
• 第20讲:自回归和可逆模型 课件地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/slides/lec20.pdf 专题待定
• 第21讲:政策梯度 下午:下午3时27分，下午1时至2时；晚上:下午3 : 27，7 - 8点 专题待定
• 第22讲:问答式学习 下午:下午3时29分，下午1时至2时；晚上:下午4 : 3，6 - 7点 专题待定
• 第23课:玩游戏 下午:下午4时3分，下午1时至2时；晚上: 4 / 3，晚上7 - 8点 专题待定

教程

请注意，下午部分的第一堂课之后没有教程，夜间部分的最后一堂课之后也没有教程。

• 教程1 :线性回归 地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/tutorials/tut1.pdf
• 教程2 :分类 [ [·伊普森笔记本] 地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/tutorials/tut2.pdf
• 教程3 :反向传播 [·伊普森笔记本] [推导( PDF ) ] 地址：http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/tutorials/tut3.pdf
• 教程4 :签名
• 教程5 : PyTorch
• 教程6 : Conv网络
• 教程7 :中期审查
• 教程8 :注意和最大似然
• 教程9 :GANs
• 教程10 :策略梯度

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“CSC3212018” 就可以获取 课程已有PPT下载链接~

课程介绍slide- Introduction

参考链接：

http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/