谷歌大脑深度学习从入门到精通视频课程[1.2]：前馈神经网络——激活函数

课程主要内容

1. 回顾上一节课的内容。（P2）
2. 神经网络中的四种激活函数的性质。（P3-P6）

PPT 解释如下：

P1. 首页

P2. 回顾上一节课的内容，主要讲解了什么是权重，什么是偏差，什么是激活函数。

P3. 线性激活函数：g(a)= a。它主要有两个特点：（1）没有对输入做任何的处理；（2）效果非常不理想。

P4. sigmoid激活函数：

。它主要有四个特点：（1）将输入数据压缩在0到1之间；（2）输出数据总是正数；（3）输出数据有边界；（4）严格递增。

P5. tanh激活函数：

。它主要有四个特点：（1）将输入数据压缩在-1到1之间；（2）输出数据有正数，也有负数；（3）输出数据有边界；（4）严格递增。

P6. Relu激活函数：

。它主要有四个特点：（1）将输入数据压缩在非负数范围；（2）输出数据没有上边界；（3）在大于零时，输出数据是严格递增；（4）让神经元变成稀疏激活。

课程作业

假设我们的输入数据是 [1.0, 0.0, -1.0]，那么依次（线性，sigmoid，tanh，Relu）经过上面的四种激活函数之后，输出的结果是多少？

课程讨论群

我们组织了课程讨论群，请先扫描下面的二维码关注我们的公众号，在交流群一栏中选择 DL课程讨论群，添加课程负责人。然后将课程作业答案发送给他，通过之后，他会邀请你加入讨论。

本文为 AI100 原创，转载需得到本公众号同意。