【免费线上实践】动手训练模型系列:梯度消失

本模型实现对512*512图像的像素二分类问题;红色或蓝色的样本点(每个样本包含坐标(x,y)值)坐落在对应颜色的区域内则样本正确分类,反之分类错误。 loss值采用Cross_entropy计算,表征训练/测试样本与实际训练/测试分类结果误差的汇总。

操作介绍:

点击不同按钮,"2个隐含层" "4个隐含层" "6隐含层",模型结构自动调整

模型结构:

ANN人工神经网络, 2-6个FC隐含层,神经元个数均为4个

(进入小程序 动手训模型)

模型训练小结:

梯度消失在深度神经网络训练中极为常见.神经网络训练中,每个网络层都会针对Loss值反向传播计算出该层的梯度,并根据梯度逐次迭代修正本层weight,最终每层weight都得到相对正确的值即可完成训练.但是,当基于Loss值计算出的梯度值<1,且神经网络层数过多时,梯度值按照链式法则连续相乘,最终浅层网络得到的梯度值会出现接近于0的情况.这种情况一旦出现,则浅层网络的Weight将停止修改,即发生梯度消失.本项目提供三个不同深度的ANN人工神经网络.针对相同样本集,分别训练,观察不同深度模型中梯度消失现象的发生。

如果模型的深度相对于样本特征的复杂度过深,则浅层的梯度值始终为0难以迭代,易出现梯度消失问题,导致模型无法正确完成任务。

模型参数备注:

训练样本规模:50 测试样本规模:400 激活函数Activation:Sigmoid 正则化策略Regularization:None 学习率Learning rate:0.1 Batch Size:1 Epoch迭代次数:1000

原文发布于微信公众号 - SIGAI(SIGAICN)

原文发表时间:2018-11-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

谷歌官方:反向传播算法图解

【新智元导读】反向传播算法(BP算法)是目前用来训练人工神经网络的最常用且最有效的算法。作为谷歌机器学习速成课程的配套材料,谷歌推出一个演示网站,直观地介绍了反...

1500
来自专栏深度学习计算机视觉

BP神经网络总结笔记

概念背景(来自百度百科) BP神经网络的代表者是D.Rumelhart和J.McCelland,“反向传播(backpropagation)”一词的使用出现在1...

2783
来自专栏人工智能

卷积神经网络之卷积操作

深度学习是一个目前非常火热的机器学习分支,而卷积神经网络(CNN)就是深度学习的一个代表性算法。CNN主要用来解决图像相关的问题,目前,单张图片的识别问题已基本...

2007
来自专栏SIGAI学习与实践平台

反向传播算法推导-卷积神经网络

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的。

2301
来自专栏marsggbo

DeepLearning.ai学习笔记(四)卷积神经网络 -- week1 卷积神经网络基础知识介绍

一、计算机视觉 ? 如图示,之前课程中介绍的都是64* 64 3的图像,而一旦图像质量增加,例如变成1000 1000 * 3的时候那么此时的神经网络的计...

22510
来自专栏CreateAMind

Faster R-CNN

Fast-RCNN基本实现端对端(除了proposal阶段外),下一步自然就是要把proposal阶段也用CNN实现(放到GPU上)。这就出现了Faster-R...

1482
来自专栏算法channel

深度学习|卷积神经网络(CNN)介绍(前篇)

01 — 回顾 以上推送了神经网络相关的介绍性内容和相关的基础理论,包括: 神经网络的基本结构:输入层,隐含层,输出层; 批随机梯度下降算法(mini-batc...

5409
来自专栏杨熹的专栏

为什么要用交叉验证

本文结构: 什么是交叉验证法? 为什么用交叉验证法? 主要有哪些方法?优缺点? 各方法应用举例? ---- 什么是交叉验证法? 它的基本思想就是将原始数据(da...

5004
来自专栏人工智能LeadAI

VGG和GoogLeNet inception

01 介绍 googlenet和vggnet这两个模型是在AlexNet后人工神经网络方面研究的又一里程碑,也是许多论文和博客中用来和提出的新方法进行对比的b...

38414
来自专栏机器学习、深度学习

跟踪算法基准--Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking

Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tr...

2766

扫码关注云+社区

领取腾讯云代金券