深度学习——CNN(2)池化层怎么反向传播?为什么采用小批量梯度下降?学习率设置

前言:CNN的优化方法依旧可以是梯度下降的方法,类似于BP算法中的反向传播,一般采用小批量梯度下降的方法,来更新参数,同时回答CNN遗留下来几个问题

池化层怎么反向传播?

Maxpool 池化层反向传播,除最大值处继承上层梯度外,其他位置置零。

为什么采用小批量梯度下降?

为了同时保证训练过程比较快,和最终训练参数的准确率,

学习率设置

学习率被定义为每次迭代中成本函数中最小化的量。也即下降到成本函数的最小值的 速率是学习率,它是可变的。从梯度下降算法的角度来说,通过选择合适的学习率,可以 使梯度下降法得到更好的性能。 一般常用的学习率有0.00001,0.0001,0.001,0.003,0.01,0.03,0.1,0.3,1,3,10 学习率和损失值的关系如下图:

基于以上情况,学习率的给定可以从多个方面 1.固定 2.均匀分布,给个迭代次数,学习率根据迭代次数更新 3.不均匀分布,刚开始训练网络时学习率一般设置较高,这样loss和 accuracy下降很快,一般前200000次两者下降较快,后面可能就需要我们使用较小的学习 率了。step策略由于过于平均,而loss和accuracy的下降率在整个训练过程中又是一个不平 均的过程,因此有时不是很合适。fixed手工调节起来又很麻烦,这时multistep可能就会派 上用场了。multistep还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔 变化,而multistep则是根据 stepvalue值变化。 一般情况下误差的变化情况如下:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉战队

干货——线性分类(上)

图像分类的任务,就是从已有的固定分类标签集合中选择一个并分配给一张图像。我们还介绍了k-Nearest Neighbor (k-NN)分类器,该分类器的基本思想...

732
来自专栏企鹅号快讯

反向传播算法原理推导及代码实现

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

2449
来自专栏计算机视觉战队

每日一学——线性分类笔记(上)

线性分类 上一篇笔记介绍了图像分类问题。图像分类的任务,就是从已有的固定分类标签集合中选择一个并分配给一张图像。我们还介绍了k-Nearest Neighbor...

3175
来自专栏CDA数据分析师

机器学习新手必看十大算法

编译 机器之心 原文链接:https://towardsdatascience.com/a-tour-of-the-top-10-algorithms-for...

4156
来自专栏数据科学与人工智能

【机器学习】机器学习之组合算法总结

组合模型 下面简单的介绍下Bootstraping, Bagging, Boosting, AdaBoost, RandomForest 和Gradient b...

25110
来自专栏智能算法

Matlab编程之——卷积神经网络CNN代码解析

deepLearnToolbox-master是一个深度学习matlab包,里面含有很多机器学习算法,如卷积神经网络CNN,深度信念网络DBN,自动编码Auto...

4838
来自专栏算法channel

深度学习|反向传播算法(BP)原理推导及代码实现

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

47110
来自专栏AI研习社

新手必看的十种机器学习算法

AI 研习社按:在神经网络的成功的带动下,越来越多的研究人员和开发人员都开始重新审视机器学习,开始尝试用某些机器学习方法自动解决可以轻松采集数据的问题。然而,在...

35110
来自专栏计算机视觉战队

每日一学 | 线性分类笔记(上)

图像分类的任务,就是从已有的固定分类标签集合中选择一个并分配给一张图像。我们还介绍了k-Nearest Neighbor (k-NN)分类器,该分类器的基本思想...

641
来自专栏算法channel

最小二乘法原理(后):梯度下降求权重参数

在上一篇推送中总结了用数学方法直接求解最小二乘项的权重参数,然而有时参数是无法直接求解的,此时我们就得借助梯度下降法,不断迭代直到收敛得到最终的权重参数。首先介...

3357

扫码关注云+社区