梯度消失问题与如何选择激活函数

本文结构:

  • 什么是梯度消失?
  • 梯度消失有什么影响?
  • 是什么原因?
  • 解决方案有哪些?
  • 如何选择激活函数?

1. 什么是梯度消失?

梯度消失,常常发生在用基于梯度的方法训练神经网络的过程中。

当我们在做反向传播,计算损失函数对权重的梯度时,随着越向后传播,梯度变得越来越小,这就意味着在网络的前面一些层的神经元,会比后面的训练的要慢很多,甚至不会变化。


2. 有什么影响?

网络的前面的一些层是很重要的,它们负责学习和识别简单的模式,也是整个网络的基础,如果他们的结果不准确的话,那么后面层结果也会不准确

而且用基于梯度的方法训练出参数,主要是通过学习参数的很小的变化对网络的输出值的影响有多大。如果参数的改变,网络的输出值贡献很小,那么就会很难学习参数,花费时间会非常长


3. 梯度消失的原因?

在训练神经网络时,为了让损失函数越来越小,其中一种优化的方法是梯度下降。梯度下降法简单的来说就是在权重的负梯度方向更新权重,如下面这个公式所示,一直到梯度收敛为零。(当然在实际过程中,会通过设定一个超参数叫做最大跌代数来控制,如果迭代次数太小,结果就会不准确,如果迭代次数太大,那么训练过程会非常长。)

这里就需要计算参数的梯度,方法是用反向传播。

为了推导一下梯度消失的原因,我们来看一个最简单的神经网络的反向传播过程

每个神经元有两个过程,一个是权重与上一层输出的线性组合,一个是作用激活函数。

来看一下最后的损失对第一层权重的梯度是怎样的:

其中各部分推导:

上面用到的激活函数为 sigmoid 函数,黄色曲线为 Sigmoid 的导数,它的值域在 0 到 1/4 之间:

sigmoid

同时一般情况下神经网络在权重初始化时,会按照高斯分布,平均值为0标准差为1这样进行初始化,所以权重矩阵也是小于1的。

于是可以知道:

由上面的例子可以看出,对第一层的权重求的偏导,就有五个小于1的数相乘,那么当层数越多,这就会以指数级迅速减小。

越靠前的层数,由于离损失越远,梯度计算式中包含的激活函数的导数就越多,那么训练也就越慢。

(那么梯度爆炸,也就是同样的道理,当激活函数的导数大于1的时候,它会呈指数级的增长。)


4. 解决方案有哪些?

由上面的推导我们可以知道,梯度消失的主要原因,主要是和激活函数的导数有关。 所以如果激活函数选择的不合适,就会出现梯度消失问题

当然,除了激活函数,还有其他几种方法:

梯度消失:

  • 逐层“预训练”(pre-training)+对整个网络进行“微调”(fine-tunning)
  • 选择合适的激活函数
  • batch normalization 批规范化:通过对每一层的输出规范为均值和方差一致的方法,消除了 w 带来的放大缩小的影响
  • 残差结构
  • LSTM

梯度爆炸:

  • 梯度剪切( Gradient Clipping)
  • 权重正则化
  • 选择合适的激活函数
  • batch normalization 批规范化,
  • RNN 的 truncated Backpropagation through time ,LSTM

今天先来重点看一下激活函数的选择


5. 那么如何选择激活函数呢?通常都有哪些激活函数, 它们的导数长什么样子呢?

由前面的推导可以知道梯度消失的主要原因,是激活函数的导数小于 1,那么在选择激活函数时,就考虑这一点。

有哪些激活函数可以选择呢?

Relu,

relu

Rectified linear unit,x 大于 0 时,函数值为 x,导数恒为 1,这样在深层网络中使用 relu 激活函数就不会导致梯度消失和爆炸的问题,并且计算速度快。

但是因为 x 小于 0 时函数值恒为0,会导致一些神经元无法激活。

Leaky Relu,

leaky relu

是 ReLU 激活函数的变体,为了解决 Relu 函数为 0 部分的问题,当 x 小于 0 时,函数值为 kx,有很小的坡度 k,一般为 0.01,0.02,或者可以作为参数学习而得。

优点 Leaky ReLU有ReLU的所有优点:计算高效、快速收敛、在正区域内不会饱和 导数总是不为零,这能减少静默神经元的出现,允许基于梯度的学习 一定程度上缓解了 dead ReLU 问题

ELU:

elu

指数线性单元(Exponential Linear Unit,ELU)也属于 ReLU 的变体。x 小于 0 时为 alpha*(e^x -1)和其它修正类激活函数不同的是,它包括一个负指数项,从而防止静默神经元出现,导数收敛为零,从而提高学习效率。

优点 不会有Dead ReLU问题 输出的均值接近0,zero-centered 缺点 计算量稍大

现在最常用的是 Relu,已经成了默认选择, sigmoid 不要在隐藏层使用了,如果是二分类问题,可以在最后的输出层使用一下, 隐藏层也可以用 tanh,会比 sigmoid 表现好很多。

此外,下面思维导图总结了其他几种 relu,sigmoid, Tanh 的变体函数,它们的导数,以及优缺点:

relu 及其变体.jpg

tanh 及其变体.jpg

sigmoid 及其变体.jpg


学习资料: http://neuralnetworksanddeeplearning.com/chap5.html https://dashee87.github.io/data%20science/deep%20learning/visualising-activation-functions-in-neural-networks/ https://blog.csdn.net/qq_25737169/article/details/78847691 https://www.cnblogs.com/willnote/p/6912798.html https://www.quora.com/What-is-the-vanishing-gradient-problem https://ayearofai.com/rohan-4-the-vanishing-gradient-problem-ec68f76ffb9b https://www.learnopencv.com/understanding-activation-functions-in-deep-learning/

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏书山有路勤为径

Advanced CNN Architectures(R-CNN系列)

除了将该图像标记为猫外,还需要定位图中的猫,典型方法是在该猫周围画一个边界框,这个方框可以看做定义该方框的一系列坐标,(x,y) 可以是方框的中心w 和 h 分...

10020
来自专栏深度学习与计算机视觉

Logistic回归损失函数证明

在理解Logistic回归算法原理中我们指出了Logistic回归的损失函数定义(在这里重新约定符号): [图片] ? 而对于全体样本集的成本函数,就可以...

53660
来自专栏书山有路勤为径

Convolutional Neural Networks

计算机视觉(Computer Vision)包含很多不同类别的问题,如图片分类、目标检测、图片风格迁移等等。

8010
来自专栏深度学习之tensorflow实战篇

随机森林基本原理

基础内容: 这里只是准备简单谈谈基础的内容,主要参考一下别人的文章,对于随机森林与GBDT,有两个地方比较重要,首先是information gain,其次是决...

36390
来自专栏深度学习思考者

深入浅出——搞懂卷积神经网络误差分析(一)

第一部分 全连接网络的权值更新   卷积神经网络使用基于梯度的学习方法进行监督训练,实践中,一般使用随机梯度下降(机器学习中几种常见的梯度下降方式)的版本,对于...

30370
来自专栏码农笔录

BP神经网络基础算法

20550
来自专栏深度学习与计算机视觉

理解梯度下降在机器学习模型优化中的应用

认识梯度下降算法 这篇博客的内容是为了介绍梯度下降算法在模型优化中的作用,也就是说,正常的顺序是我们要学习一个模型(确定模型参数),在优化这么未知模型的时候,使...

36080
来自专栏深度学习与计算机视觉

Object Detection系列(五) R-FCN

Object Detection系列(一) R-CNN Object Detection系列(二) SPP-Net Object Detection系...

55360
来自专栏机器学习原理

深度学习(4)——BP算法感知器神经网络线性神经网络BP神经网络

13620
来自专栏CSDN技术头条

卷积神经网络CNN

本文学习笔记的部分内容参考zouxy09的博客,谢谢! http://blog.csdn.net/zouxy09/article/details/8775360...

33170

扫码关注云+社区

领取腾讯云代金券