谷歌大脑深度学习从入门到精通视频课程[2.4]：训练神经网络——隐藏层的梯度

AI100 已经引入 Hugo Larochelle 教授的深度学习课程，会每天在公众号中推送一到两节课，并且对视频中的 PPT 进行讲解。课后，我们会设计一系列的问题来巩固课程中的知识。本节课是 Hugo Larochelle 教授深度学习第二章节的第四节课。

课程主要内容

1. 回顾上一节课的内容，主要讲解了随机梯度下降法。（P2）
2. 链式法则的介绍。（P4）
3. 隐藏层的偏导数和梯度设计。（P5 - P6）
4. 未激活时，隐藏层的偏导数和梯度设计。（P7 - P8）

PPT 解释如下：

P1. 首页

P2. 内容回顾，主要讲解了随机梯度下降法的设计。

P3. 隐藏层的损失梯度。

P4. 链式法则的介绍。

P5. 隐藏层损失梯度的偏导数设计。

P6. 隐藏层损失梯度的梯度设计。

P7. 未激活隐藏层损失梯度的偏导数设计。

P8. 未激活隐藏层损失梯度的梯度设计。

课程作业

自己手动推导一下PPT里面的数学公式。

讲师简介

Hugo Larochelle 教授师从 Yoshua Bengio 教授，并且在 Geoffrey Hinton 教授那里做了两年的博士后工作。目前 Hugo Larochelle 教授是 Google Brain 的研究科学家。他在 Youtube 上面的神经网络课程视频讲的深入浅出，非常适合从零开始学习。

本文为 AI100 原创，转载需得到本公众号同意。