吴恩达 deeplearning.ai 精炼笔记 1-5：深层神经网络

重磅干货，第一时间送达

原文地址：http://fangzh.top/2018/2018091316/

这一周主要讲了深层的神经网络搭建。

深层神经网络的符号表示

在深层的神经网络中，

前向传播和反向传播

前向传播

input

output，其中cache也顺便把也保存下来了

所以，前向传播的公式可以写作：

维度

假设有m个样本，那么维度就是，的维度和一样。

那么维度就是也就是，这个时候，还需要加上，而本身的维度是，借助python的广播，扩充到了m个维度。

反向传播

input：

output：

公式：

向量化

正向传播和反向传播如图：

具体过程为，第一层和第二层用Relu函数，第三层输出用sigmoid，这个时候的输出值是

而首先进行反向传播的时候先求得，然后再包括之前存在cache里面的,反向传播可以得到，然后继续反向，直到得到了后，更新一下w，b的参数，然后继续做前向传播、反向传播，不断循环。

Why Deep？

如图直观上感觉，比如第一层，它会先识别出一些边缘信息；第二层则将这些边缘进行整合，得到一些五官信息，如眼睛、嘴巴等；到了第三层，就可以将这些信息整合起来，输出一张人脸了。

如果网络层数不够深的话，可以组合的情况就很少，或者需要类似门电路那样，用单层很多个特征才能得到和深层神经网络类似的效果。

搭建深层神经网络块

和之前说的一样，一个网络块中包含了前向传播和反向传播。

前向输入，经过神经网络的计算，得到反向传播，输入，再有之前在cache的,即可得到还有上一层的。

参数与超参数

超参数就是你自己调的，玄学参数：

‍‍‍‍learning_rate

iterations

L = len(hidden layer)

activation function

mini batch size（最小的计算批）

regularization（正则）

momentum（动量）‍‍‍‍

扫描上方二维码关注