前言
模型函数
零初始化
随机初始化
He初始化
总结
参考资料
前言
良好的初始化权重有以下的好处:
加快梯度下降的收敛速度
增加梯度下降收敛到较低训练(和泛化)错误的几率
所以一个良好的初始化也是非常重要的...随机初始化,使用随机的方式,初始化权重参数。
He初始化,这个公式的初始化方式。
我们来尝试这个三种方法吧。
模型函数
编写一个model函数,使用这个函数可以测试各种初始化权重参数的效果。...Returns:
parameters -- 包含参数的python字典 "W1", "b1", ..., "WL", "bL":
W1 -- 形状权重矩阵...Returns:
parameters -- 包含参数的python字典 "W1", "b1", ..., "WL", "bL":
W1 -- 形状权重矩阵...Returns:
parameters -- 包含参数的python字典 "W1", "b1", ..., "WL", "bL":
W1 -- 形状权重矩阵