【深度学习篇】--神经网络中解决梯度弥散问题

 一、前述

在梯度下降中，随着算法反向反馈到前面几层，梯度会越来越小，最终，没有变化，这时或许还没有收敛到比较好的解，这就是梯度消失问题，深度学习遭受不稳定的梯度，不同层学习在不同的速度上

二、解决梯度弥散和消失方法一，初始化权重使用he_initialization

1、举例

如果我们看逻辑激活函数，当输入比较大，不管正负，将会饱和在0或1，这样梯度就是0，因此当反向传播开始，它几乎没有梯度传播回神经网络，所以就会导致只更改高的几层，低的几层不会变化，这就是为什么替代Relu函数的原因。

2、初始化

我们需要每层输出的方差等于它的输入的方差，并且我们同时需要梯度有相同的方差，当反向传播进入这层时和离开这层，方差也一样。

上面理论不能同时保证，除非层有相同的输入连接和输出连接，

但是有一个不错的妥协在实际验证中，连接权重被随机初始化，n_inputs和n_outputs是输入和输出的连接，也叫fan_in和fan_out， 这种初始化的策略叫Xaiver initialization

3、具体应用

看输入和输出的连接数找到对应公式计算半径来随机初始化权重，是最合理的，是最不容易产生梯度弥散的初始化权重。

4、He Initialization（变形的Relu激活函数）

初始化策略对应ReLU激活函数或者它的变形叫做He initialization

fully_connected()函数默认使用Xavier初始化对应uniform distribution（full_connected默认会初始化参数和bias） 我们可以改成He initialization使用variance_scaling_initializer()函数，如下

三、解决梯度弥散问题方法二，使用不饱和激活函数解决单边抑制

1、场景

选择ReLU更多因为对于正数时候不饱和，同时因为它计算速度快 但是不幸的是，ReLU激活函数不完美，有个问题是dying ReLU，在训练的时候一些神经元死了。

2、解决方法

当它们输出小于0，去解决这个，使用leaky ReLU，max(a*z，z)，a=0.01，在乎运行性能速度，可以试试

3、常用不饱和激活函数

leaky ReLU a是一个固定的值，需要手动实现

RReLU，Random，a是一个在给定范围内随机取值的数在训练时，在测试的时候取a得平均值，过拟合 可以试试 PReLU，Parametric，a是一个在训练过程中需要学习的超参数，它会被修改在反向传播中，适合 大数据集 ELU，exponential，计算梯度的速度会慢一些，但是整体因为没有死的神经元，整体收敛快，超参 数0.01（实际中用的不多），解决零点不可导的问题，ELU可以直接使用。

选择激活函数结论：

ELU > leaky ReLU > ReLU > tanh > logistic

四、解决梯度弥散方法三，利用Batch Normalization

1、场景

尽管使用He initialization和ELU可以很大程度减少梯度弥散问题在一开始训练，但是不保证在训练的后面不会发生 Batch Normalization可以更好解决问题。它应用于每层激活函数之前，就是做均值和方差归一化，对于每一批次数据并且还做放大缩小，平移，为了梯度下降的时候收敛的时候速度更快。

相当于把数据都拉到中间的位置了，有这个就不需要Dropout，Relu等等

2、本质

本质就是均值，归一化，放大，缩小

3、具体使用原理

在测试时，使用全部训练集的均值、方差，在Batch Normalization层，总共4个超参数被学习， scale，offset，mean，standard deviation。

scale，offset，如下

mean，standard deviation。如下，B是每一批次

利用Batch Normalization即使是用饱和的激活函数，梯度弥散问题也可以很好减轻 利用Batch Normalization对权重初始化就不那么敏感了，用不用he_initlinze无所谓了，但最好用 利用Batch Normalization可以使用大一点的学习率来提速了。 利用Batch Normalization同样的准确率，4.9% top-5错误率，速度减少14倍 利用Batch Normalization也是一种正则化，就没必要使用dropout了或其他技术了

3、具体使用代码

4、代码优化

真正运行的时候代码如下：