《深度学习Ng》课程学习笔记02week1——深度学习的实用层面

http://blog.csdn.net/u011239443/article/details/77947043

1.1 训练 / 开发 / 测试集

1.2 偏差 / 方差

低偏差高方差,则表示泛化能力不强,可能过拟合。 高偏差,则表示可能还欠拟合。

1.3 机器学习基础

1.4 正则化

逻辑回归正则化

神经网络正则化

1.5 为什么正则化可以减少过拟合?

对于S类激活函数,当W接近与零时,激活函数更加趋近于线性函数,所以不会有太复杂的划分:

1.6 Dropout 正则化 1.7 理解 Dropout

更多理解和先参阅:http://blog.csdn.net/u011239443/article/details/76360294#t49

测试阶段不使用Dropout

1.8 其他正则化方法

增加数据

提早停止

1.9 正则化输入

参阅:http://blog.csdn.net/u011239443/article/details/76360294#t3

归一化的好处:

1.10 梯度消失与梯度爆炸

1.11 神经网络的权重初始化

初始化权值尽可能的接近于0,梯度下降的速度才能尽可能的快,所以讲初始化乘以一定的系数:

1.12 梯度的数值逼近 1.13 梯度检验 1.14 关于梯度检验实现的注记

基本的数学概念,不记录。

  • 将模型看作关于各个参数函数:
  • 检验:
  • 梯度检验注意项:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券