【免费线上实践】动手训练模型系列：梯度消失

本模型实现对512*512图像的像素二分类问题；红色或蓝色的样本点（每个样本包含坐标(x,y)值）坐落在对应颜色的区域内则样本正确分类，反之分类错误。 loss值采用Cross_entropy计算，表征训练/测试样本与实际训练/测试分类结果误差的汇总。

操作介绍:

点击不同按钮，"2个隐含层" "4个隐含层" "6隐含层",模型结构自动调整

模型结构:

ANN人工神经网络, 2-6个FC隐含层，神经元个数均为4个

（进入小程序 动手训模型）

模型训练小结:

梯度消失在深度神经网络训练中极为常见．神经网络训练中，每个网络层都会针对Loss值反向传播计算出该层的梯度，并根据梯度逐次迭代修正本层weight，最终每层weight都得到相对正确的值即可完成训练．但是，当基于Loss值计算出的梯度值<1，且神经网络层数过多时，梯度值按照链式法则连续相乘，最终浅层网络得到的梯度值会出现接近于０的情况．这种情况一旦出现，则浅层网络的Weight将停止修改，即发生梯度消失．本项目提供三个不同深度的ANN人工神经网络．针对相同样本集，分别训练，观察不同深度模型中梯度消失现象的发生。

如果模型的深度相对于样本特征的复杂度过深，则浅层的梯度值始终为０难以迭代，易出现梯度消失问题，导致模型无法正确完成任务。

模型参数备注:

训练样本规模:50 测试样本规模:400 激活函数Activation:Sigmoid 正则化策略Regularization:None 学习率Learning rate:0.1 Batch Size:1 Epoch迭代次数:1000