正则化公式简析
L1 范数:向量各个元素绝对值之和
L2 范数:向量各个元素的平方求和然后求平方根
Lp 范数:向量各个元素绝对值的 p 次方求和然后求 1/p 次方
L∞ 范数:向量各个元素求绝对值,...最大那个元素的绝对值
L2 正则化:你需要做的就是在 cost function 后面加上正则化参数....这里后面也可以加上 b 的正则化参数,即
.但是 Ng 常常胜省略不写,因为 W 已经是一个高维参数矢量,已经可以表达高偏差问题....如果正则化参数
变大,激活函数的参数 z 会相对小,因为代价函数的参数变大了,如果 w 变的很小,z 也会变的很小.实际上,z 的取值范围很小,这个激活函数(此处为 tanh)在此处相对呈线性,每层几乎都呈线性....
early stopping 和 L2 正则化的权衡
对于 L2 正则化而言,我增加了一个超参数
,这样我要不停地寻找
的值使能达到效果,训练神经网络的计算代价会变得更高.
early stopping