《深度学习Ng》课程学习笔记02week1——深度学习的实用层面

http://blog.csdn.net/u011239443/article/details/77947043

1.1 训练 / 开发 / 测试集

1.2 偏差 / 方差

低偏差高方差，则表示泛化能力不强，可能过拟合。 高偏差，则表示可能还欠拟合。

1.3 机器学习基础

1.4 正则化

逻辑回归正则化

神经网络正则化

1.5 为什么正则化可以减少过拟合？

对于S类激活函数，当W接近与零时，激活函数更加趋近于线性函数，所以不会有太复杂的划分：

1.6 Dropout 正则化 1.7 理解 Dropout

更多理解和先参阅：http://blog.csdn.net/u011239443/article/details/76360294#t49

测试阶段不使用Dropout

1.8 其他正则化方法

增加数据

提早停止

1.9 正则化输入

参阅：http://blog.csdn.net/u011239443/article/details/76360294#t3

归一化的好处：

1.10 梯度消失与梯度爆炸

1.11 神经网络的权重初始化

初始化权值尽可能的接近于0，梯度下降的速度才能尽可能的快，所以讲初始化乘以一定的系数：

1.12 梯度的数值逼近 1.13 梯度检验 1.14 关于梯度检验实现的注记

基本的数学概念，不记录。

• 将模型看作关于各个参数函数：

• 检验：

• 梯度检验注意项：