01.神经网络和深度学习 W4.深层神经网络

文章目录

• • 1. 深层神经网络
  • 2. 前向传播和反向传播
  • 3. 核对矩阵维数
  • 4. 参数、超参数

参考： 吴恩达视频课 深度学习笔记

1. 深层神经网络

在这里插入图片描述

有的时候只有非常深的神经网络才能发挥作用。

但是无法提前预知多少层的神经网络合适，可以先尝试逻辑回归，尝试一层，然后两层隐含层，然后把隐含层的数量当作超参数，然后交叉验证

2. 前向传播和反向传播

在这里插入图片描述

3. 核对矩阵维数

矩阵维数

4. 参数、超参数

参数有 W, b

超参数：

• 学习率
• 梯度下降 迭代次数
• 隐藏层数量
• 隐藏层单元数量
• 激活函数选择
• momentum
• mini batch size
• 正则化参数

多种组合，各种尝试，选择效果最好的参数组合，第二门课会介绍