梯度消失和梯度爆炸

整理并翻译自吴恩达深度学习视频： https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702118

梯度消失和梯度爆炸

在这里插入图片描述

yhat=wLwL−1wL−2...w3w2w1xy^{hat}=w^{L}w^{L-1}w^{L-2}...w^{3}w^{2}w^{1}xyhat=wLwL−1wL−2...w3w2w1x

这里简化了激活函数g(z)g(z)g(z)，g(z)g(z)g(z)是线性函数或者干脆g(z)=zg(z)=zg(z)=z

III表示单位矩阵，WWW表示权重矩阵。

因此W&gt;IW&gt;IW>I时，yhaty^{hat}yhat就以指数级别增长(因为L个w相乘)，对应梯度爆炸。 同理W&lt;IW&lt;IW<I时，yhaty^{hat}yhat就以指数级别降低(因为L个w相乘)，对应梯度消失。

如何解决梯度消失和梯度爆炸

基本的思想即尽量使每个w取接近1的值，即不过分大于1，也不过分小于1.

初始化w时： 采用ReLU即作为激活函数： w[l]w^{[l]}w[l] = np.random.randn(shape) * np.sqrt(2n[l−1])(\frac{2}{n^{[l-1]}})(n[l−1]2​)

采用tanh作为激活函数： w[l]w^{[l]}w[l] = np.random.randn(shape) * np.sqrt(1n[l−1])(\frac{1}{n^{[l-1]}})(n[l−1]1​) 这被称为Xavier Initialize。

或者有些论文也会采用： w[l]w^{[l]}w[l] = np.random.randn(shape) * np.sqrt(2n[l−1]+n[l])(\frac{2}{n^{[l-1]} + n^{[l]}})(n[l−1]+n[l]2​)