【深度学习篇】--神经网络中解决梯度弥散问题

 一、前述

在梯度下降中,随着算法反向反馈到前面几层,梯度会越来越小,最终,没有变化,这时或许还没有收敛到比较好的解,这就是梯度消失问题,深度学习遭受不稳定的梯度,不同层学习在不同的速度上

二、解决梯度弥散和消失方法一,初始化权重使用he_initialization

1、举例

如果我们看逻辑激活函数,当输入比较大,不管正负,将会饱和在0或1,这样梯度就是0,因此当反向传播开始,它几乎没有梯度传播回神经网络,所以就会导致只更改高的几层,低的几层不会变化,这就是为什么替代Relu函数的原因。

2、初始化

我们需要每层输出的方差等于它的输入的方差,并且我们同时需要梯度有相同的方差,当反向传播进入这层时和离开这层,方差也一样。

上面理论不能同时保证,除非层有相同的输入连接和输出连接,

但是有一个不错的妥协在实际验证中,连接权重被随机初始化,n_inputs和n_outputs是输入和输出的连接,也叫fan_in和fan_out, 这种初始化的策略叫Xaiver initialization

3、具体应用

看输入和输出的连接数找到对应公式计算半径来随机初始化权重,是最合理的,是最不容易产生梯度弥散的初始化权重。

4、He Initialization(变形的Relu激活函数)

初始化策略对应ReLU激活函数或者它的变形叫做He initialization

fully_connected()函数默认使用Xavier初始化对应uniform distribution(full_connected默认会初始化参数和bias) 我们可以改成He initialization使用variance_scaling_initializer()函数,如下

三、解决梯度弥散问题方法二,使用不饱和激活函数解决单边抑制

1、场景

选择ReLU更多因为对于正数时候不饱和,同时因为它计算速度快 但是不幸的是,ReLU激活函数不完美,有个问题是dying ReLU,在训练的时候一些神经元死了。

2、解决方法

当它们输出小于0,去解决这个,使用leaky ReLU,max(a*z,z),a=0.01,在乎运行性能速度,可以试试

3、常用不饱和激活函数

leaky ReLU a是一个固定的值,需要手动实现

RReLU,Random,a是一个在给定范围内随机取值的数在训练时,在测试的时候取a得平均值,过拟合 可以试试 PReLU,Parametric,a是一个在训练过程中需要学习的超参数,它会被修改在反向传播中,适合 大数据集 ELU,exponential,计算梯度的速度会慢一些,但是整体因为没有死的神经元,整体收敛快,超参 数0.01(实际中用的不多),解决零点不可导的问题,ELU可以直接使用。

选择激活函数结论:

ELU > leaky ReLU > ReLU > tanh > logistic

四、解决梯度弥散方法三,利用Batch Normalization

1、场景

尽管使用He initialization和ELU可以很大程度减少梯度弥散问题在一开始训练,但是不保证在训练的后面不会发生 Batch Normalization可以更好解决问题。它应用于每层激活函数之前,就是做均值和方差归一化,对于每一批次数据并且还做放大缩小,平移,为了梯度下降的时候收敛的时候速度更快。

相当于把数据都拉到中间的位置了,有这个就不需要Dropout,Relu等等

2、本质

本质就是均值,归一化,放大,缩小

3、具体使用原理

在测试时,使用全部训练集的均值、方差,在Batch Normalization层,总共4个超参数被学习, scale,offset,mean,standard deviation。

scale,offset,如下

mean,standard deviation。如下,B是每一批次

利用Batch Normalization即使是用饱和的激活函数,梯度弥散问题也可以很好减轻 利用Batch Normalization对权重初始化就不那么敏感了,用不用he_initlinze无所谓了,但最好用 利用Batch Normalization可以使用大一点的学习率来提速了。 利用Batch Normalization同样的准确率,4.9% top-5错误率,速度减少14倍 利用Batch Normalization也是一种正则化,就没必要使用dropout了或其他技术了

3、具体使用代码

4、代码优化

真正运行的时候代码如下:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数值分析与有限元编程

可视化 | MATLAB划分均匀矩形网格

之前发过一个划分均匀三角形网格的例子。下面结合一个悬臂梁说说如何在规则区域划分均匀矩形网格。 ? 将一个矩形平面区域划分成相同大小的矩形。X方向等分nex,Y方...

57690
来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

基于模糊集理论的一种图像二值化算法的原理、实现效果及代码

  这是篇很古老的论文中的算法,发表与1994年,是清华大学黄良凯(Liang-kai Huang) 所写,因此国外一些论文里和代码里称之为Huang's fu...

311110
来自专栏生信小驿站

机器学习识别乳腺癌

人工神经网络是一种类似于大脑神经突触连接的结构进行信息处理的数学模型,由大量的输入层节点、隐藏层节点和输出层节点连接构成。有关神经网络算法最核心的三个问题就是:...

12620
来自专栏拂晓风起

验证码去噪 分离背景 分离文字 最大类间方差

12720
来自专栏小鹏的专栏

02 The TensorFlow Way(3)

Implementing Back Propagation 使用TensorFlow的好处之一是可以跟踪操作,并根据反向传播自动更新模型变量。如下,我们将介绍...

25060
来自专栏企鹅号快讯

机器学习——SVM进一步认识

机器学习(十七) ——SVM进一步认识 (原创内容,转载请注明来源,谢谢) 注:这两天边看ng的svm视频,边看机器学习实战的书的svm代码,两边都看的云里雾里...

20460
来自专栏机器学习算法工程师

RNN入门与实践

作者:叶虎 编辑:黄俊嘉 引言 递归神经网络(Recurrent Neural Network, RNN)是神经网络家族的重要成员,而且也是深度学习领域中的得...

38470
来自专栏张俊红

Sklearn参数详解—GBDT

这篇介绍Boosting的第二个模型GBDT,GBDT和Adaboost都是Boosting模型的一种,但是略有不同,主要有以下两点不同:

20540
来自专栏Brian

深度学习笔记-浅层神经网络

---- 浅层神经网络 什么是浅层神经网络,我们看一下下面这个图: ? 分为如下: 1.Input Layer 2.Hidden Layer 3.Outpu...

43250
来自专栏闪电gogogo的专栏

《统计学习方法》笔记二 感知机

感知机(perceptron)是二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别,取±1。感知机对应与输入空间中将实例划分为正负两类的分离超平面,属...

8420

扫码关注云+社区

领取腾讯云代金券