谷歌大脑深度学习从入门到精通视频课程[2.5]：训练神经网络——激活函数的导数

AI100 已经引入 Hugo Larochelle 教授的深度学习课程，会每天在公众号中推送一到两节课，并且对视频中的 PPT 进行讲解。课后，我们会设计一系列的问题来巩固课程中的知识。本节课是 Hugo Larochelle 教授深度学习第二章节的第五节课。

课程主要内容

1. 回顾上一节课的内容，主要讲解了未激活时，隐藏层的损失梯度。（P2）
2. 三种激活函数的偏导数。（P3-P5）

PPT 解释如下：

P1. 首页

P2. 内容回顾，主要讲解了未激活时，隐藏层的损失梯度。

P3. 线性激活函数的偏导数。

P4. sigmoid 激活函数的偏导数。

P5. tanh激活函数的偏导数。

课程作业

尝试画出激活函数和它的偏导数。

讲师简介

Hugo Larochelle 教授师从 Yoshua Bengio 教授，并且在 Geoffrey Hinton 教授那里做了两年的博士后工作。目前 Hugo Larochelle 教授是 Google Brain 的研究科学家。他在 Youtube 上面的神经网络课程视频讲的深入浅出，非常适合从零开始学习。

本文为 AI100 原创，转载需得到本公众号同意。