专栏首页SIGAI学习与实践平台【免费线上实践】动手训练模型系列:梯度消失

【免费线上实践】动手训练模型系列:梯度消失

本模型实现对512*512图像的像素二分类问题;红色或蓝色的样本点(每个样本包含坐标(x,y)值)坐落在对应颜色的区域内则样本正确分类,反之分类错误。 loss值采用Cross_entropy计算,表征训练/测试样本与实际训练/测试分类结果误差的汇总。

操作介绍:

点击不同按钮,"2个隐含层" "4个隐含层" "6隐含层",模型结构自动调整

模型结构:

ANN人工神经网络, 2-6个FC隐含层,神经元个数均为4个

(进入小程序 动手训模型)

模型训练小结:

梯度消失在深度神经网络训练中极为常见.神经网络训练中,每个网络层都会针对Loss值反向传播计算出该层的梯度,并根据梯度逐次迭代修正本层weight,最终每层weight都得到相对正确的值即可完成训练.但是,当基于Loss值计算出的梯度值<1,且神经网络层数过多时,梯度值按照链式法则连续相乘,最终浅层网络得到的梯度值会出现接近于0的情况.这种情况一旦出现,则浅层网络的Weight将停止修改,即发生梯度消失.本项目提供三个不同深度的ANN人工神经网络.针对相同样本集,分别训练,观察不同深度模型中梯度消失现象的发生。

如果模型的深度相对于样本特征的复杂度过深,则浅层的梯度值始终为0难以迭代,易出现梯度消失问题,导致模型无法正确完成任务。

模型参数备注:

训练样本规模:50 测试样本规模:400 激活函数Activation:Sigmoid 正则化策略Regularization:None 学习率Learning rate:0.1 Batch Size:1 Epoch迭代次数:1000

本文分享自微信公众号 - SIGAI(SIGAICN)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 理解梯度下降法

    最优化问题在机器学习中有非常重要的地位,很多机器学习算法最后都归结为求解最优化问题。在各种最优化算法中,梯度下降法是最简单、最常见的一种,在深度学习的训练中被广...

    SIGAI学习与实践平台
  • 以机器学习的视角来看时序点过程的最新进展

    http://www.tensorinfinity.com/paper_154.html

    SIGAI学习与实践平台
  • 机器学习与深度学习习题集答案-2

    本文是机器学习和深度学习习题集答案的第2部分,也是《机器学习-原理、算法与应用》一书的配套产品。此习题集可用于高校的机器学习与深度学习教学,以及在职人员面试准备...

    SIGAI学习与实践平台
  • 【学术】浅谈神经网络中的梯度爆炸问题

    梯度爆炸是一个在训练过程中大的误差梯度不断累积,导致神经网络模型权重出现大幅更新的问题。这会影响你的模型不稳定,无法从你的训练数据中学习。 在这篇文章中,我将带...

    AiTechYun
  • TASK 6 resnet

    让我们考虑下面这个简单的深度神经网络,它的每一层都只包含一个神经元,一共有三个隐藏层:

    平凡的学生族
  • 机器学习 学习笔记(3) 梯度下降

    梯度下降法是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一。

  • 入门|详解机器学习中的梯度消失、爆炸原因及其解决方法

    前言:   本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分,第一部分主要直观的介绍深度学习中为什么使用梯度更新,第二部分主...

    机器学习算法工程师
  • 神经网络使用梯度下降的原因(摘自我写的书)

    目前深度神经网络模型的优化方法主要是梯度下降。我们使用梯度下降的方法来进行误差的反向传播,不断地调整模型参数,以降低模型所产生的误差,使模型更好实现从输入到输出...

    黄鸿波
  • 为什么ResNet和DenseNet可以这么深? | 一文详解残差块为何能解决梯度弥散问题

    传统的“提拉米苏”式卷积神经网络模型,都以层叠卷积层的方式提高网络深度,从而提高识别精度。但层叠过多的卷积层会出现一个问题,就是梯度弥散(Vanishing),...

    用户1332428
  • Tensorflow框架是如何支持分布式训练的?

    大数据时代的互联网应用产生了大量的数据,这些数据就好比是石油,里面蕴含了大量知识等待被挖掘。深度学习就是挖掘数据中隐藏知识的利器,在许多领域都取得了非常成功的应...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券