【学术】浅谈神经网络中的梯度爆炸问题

梯度爆炸是一个在训练过程中大的误差梯度不断累积,导致神经网络模型权重出现大幅更新的问题。这会影响你的模型不稳定,无法从你的训练数据中学习。

在这篇文章中,我将带你了解深度人工神经网络的梯度爆炸问题。

什么是梯度爆炸?

误差梯度是在训练神经网络时计算的方向和量的大小,用于在正确的方向以正确的量更新网络权重。在深度网络或RNN中,更新过程中可能会累积误差梯度,并最终累积成非常大的梯度。这会导致网络权重的大幅更新,从而导致网络不稳定。在极端情况下,权重的值可能会大到溢出导致出现NaN值。具有大于1.0的值的网络层重复地增加梯度经过指数增长最终发生爆炸。

什么是梯度爆炸?

在深度多层感知器网络中,梯度爆炸可能导致神经网络不稳定,使之不能从训练数据中学习,甚至是无法更新的NaN权重值。

爆炸梯度会使学习变得不稳定。

– 第282页,深度学习,2016。

在RNN中,爆炸梯度会导致神经网络不稳定,无法从训练数据中学习,最好的情况下,网络不能学习数据的长输入数据序列。

梯度爆炸问题是指训练过程中梯度范数的大幅增加。往往是由于长期成分的激增。

– 训练RNN时遇到的困难

怎样知道是否存在梯度爆炸?

这些微妙的迹象表明,在你的网络训练过程中,可能会遇到梯度爆炸的情况,例如:

  • 该模型在训练数据上无法得到牵引(如,poor loss)。
  • 该模型是不稳定的,导致从两次更新之间的损失有巨大的变化。
  • 训练期间模型损失呈现NaN。

如果你有这些类型的问题,你可以深入挖掘,看看你是否有梯度爆炸的问题。

这些迹象,可以用来确认是否存在梯度爆炸。

  • 训练期间,模型权重很快变得非常大。
  • 训练期间,模型权重转换为NaN值。
  • 训练期间,每个节点和层的误差梯度值始终高于1.0。

如何修复爆炸梯度?

解决爆炸梯度有很多方法。在这里我列出一些你可能会用到的比较好的处理方法。

1.重新设计网络模型

在深度神经网络中,可以通过重新设计网络减少层数来解决梯度爆炸。在训练网络时,使用较小的批处理大小也会对此有益。在RNN中,在训练期间通过较少的先前时间步进行更新,被称为截断BPTT(Backpropagation through time),可以减少爆炸梯度问题。

2.使用RELU激活

在深层多感知神经网络中,如果选择某些激活函数可能会出现梯度爆炸,如sigmoid函数和tanh函数。

在这里使用ReLU激活函数减少梯度爆炸。采用ReLU激活功能是对隐藏层最新最好的处理方法。

3.使用LSTM

在RNN中,由于这种类型的网络训练的固有不稳定性,会发生梯度爆炸,例如BPTT本质上是将循环网络换成深度多层的感知神经网络。

通过使用LSTM存储器单元和可能相关的gated-type神经元结构,可以减少爆炸梯度。采用LSTM存储单元是对用于序列预测的RNN最新最好的处理方法。

4.使用梯度裁剪

即使以上方法都使用,梯度爆炸仍然可能发生。如果梯度爆炸仍在出现,你可以在网络训练期间检查并限制梯度的大小。这种方法被称为梯度裁剪。

处理梯度爆炸有一个简单但非常有效的解决方案:如果他们的范数超过给定的阈值,则将梯度裁剪掉。

– 第5.2.4节,梯度消失和梯度爆炸,自然语言处理中的神经网络方法,2017。

具体来说,如果误差梯度超过阈值,则将检查误差梯度的值与阈值进行核对并将其裁剪掉或将它设置为阈值。

在某种程度上,梯度爆炸问题可以通过梯度裁剪(在执行下降梯度之前对梯度值进行阈值化)来减轻。

– 294页,深度学习,2016。

在Keras深度学习库中,可以在训练之前通过在优化器上设置clipnorm或clipvalue参数来使用梯度裁剪。

比较好的默认值是clipnorm = 1.0和clipvalue = 0.5。

  • 在Keras API中使用优化器

5.使用权重正则化

还有方一种法,如果梯度梯度仍然存在,则检查网络权重的大小,并对大权重值的网络损失函数应用惩罚。

这种方法称为权重正则化,通常可以使用L1(绝对权重)或L2(平方权重)惩罚。

对权重使用L1惩罚或L2惩罚有助于解决梯度爆炸

– 关于训练RNN的难题,2013年。

在Keras深度学习库中,可以通过在层上设置kernel_regularizer参数并使用L1L2正则化矩阵来使用权重正则化。

  • 在Keras接口中使用正则化

总结

阅读这篇文章后,你了解了:

  • 什么是爆炸梯度,以及它们在训练过程中会产生怎样的问题。
  • 如何知道你的网络模型是否有梯度爆炸?
  • 如何解决网络中出现梯度爆炸的问题。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

解读 | 谷歌像素递归超分辨率研究:怎么消灭低分辨率图像马赛克?

机器之心原创 作者:Angulia 参与:王灏、hustcxy、吴攀 最近,谷歌发布了一种把低分辨率图像复原为高分辨率图像的方法,参见机器之心文章《学界 | ...

3519
来自专栏IT派

机器学习算法梳理

前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘...

3458
来自专栏机器之心

IJCAI 2018 | 北京大学提出新型分层式端到端模型,整合文本摘要和情感分类

1796

为什么不提倡在训练集上检验模型?

在你开始接触机器学习时,通常你会从读取一个数据集并尝试使用不同的模型开始。你可能会疑惑,为什么不用数据集中的所有数据来训练及评估模型呢?

3867
来自专栏数据科学与人工智能

【陆勤践行】面试之机器学习算法思想简单梳理

找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且...

2248
来自专栏灯塔大数据

塔说 |盘点人工智能从业者必备的10个深度学习方法

导读:近日,软件工程师 James Le 在 Medium 上发表了一篇题为《The 10 Deep Learning Methods AI Practitio...

3384
来自专栏用户2442861的专栏

神经网络与深度学习(4):改进神经网络的学习方法

本文总结自《Neural Networks and Deep Learning》第3章的内容。 

1081
来自专栏数据科学与人工智能

【机器学习】机器学习算法总结

找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且...

2955
来自专栏数据科学与人工智能

机器学习算法总结(面试用到)

找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且...

8178
来自专栏jeremy的技术点滴

机器学习课程_笔记06

2814

扫码关注云+社区