专栏首页深度学习自然语言处理简单理解Momentum,RMSprop,Adam优化算法

简单理解Momentum,RMSprop,Adam优化算法

我们初学的算法一般都是从SGD入门的,参数更新是:

它的梯度路线为:

但是可以看出它的上下波动很大,收敛的速度很慢。因此根据这些原因,有人提出了Momentum优化算法,这个是基于SGD的,简单理解,就是为了防止波动,取前几次波动的平均值当做这次的W。这个就用到理论的计算梯度的指数加权平均数,引进超参数beta(一般取0.9):

beta和1-beta分别代表之前的dW权重和现在的权重。

效果图如下(红色):

下面继续另一种加速下降的一个算法RMSprop,全称root mean square prop。也用到权重超参数beta(一般取0.999),和Momentum相似:

其中dW的平方是(dW)^2,db的平方是(db)^2。如果严谨些,防止分母为0,在分数下加上个特别小的一个值epsilon,通常取10^-8。

效果图如下(绿色):

研究者们其实提出了很多的优化算法,可以解决一些问题,但是很难扩展到多种神经网络。而Momentum,RMSprop是很长时间来最经得住考研的优化算法,适合用于不同的深度学习结构。所以有人就有想法,何不将这俩的方法结合到一起呢?然后,pia ji一下,Adam问世了。全程Adaptive Moment Estimation。算法中通常beta_1=0.9,beta_2=0.999。

算法为(很明显看出是两者的结合,其中多了一步V和S的调节,t为迭代次数,除以1-beta^t表示越近的重要,越远的就可以忽视):

因为Adam结合上述两种优化算法的优点于一身,所以现在经常用的是Adam优化算法。


感谢Andrew Ng的视频!

本文分享自微信公众号 - 深度学习自然语言处理(zenRRan),作者:zenRRan

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【python】Tkinter窗口可视化二

    今天我们举办了送老晚会,不知不觉,毕业是真的近了,还有整整一个月,寝室就不在属于自己了。珍惜眼前的时光,加油,坚持下来,每天进步一丢丢!

    zenRRan
  • 异常点检测算法小结

    异常点检测,有时也叫离群点检测,英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法,这里就对异...

    zenRRan
  • 初入NLP领域的一些小建议

    基于我自己多年来曾经走过的弯路,踩过的坑,这篇文章做一点点小的总结。希望会对刚刚进入NLP领域的同学有所帮助。

    zenRRan
  • 判断二叉树是否为平衡二叉树

    解题思路: 根据二叉树的定义,我们可以递归遍历二叉树的每一个节点来,求出每个节点的左右子树的高度,如果每个节点的左右子树的高度相差不超过1,按照定义,它就是...

    Dabelv
  • ros小车和驾驶仿真环境视频

    https://github.com/parilo/steering-a-car-behavioral-cloning

    用户1908973
  • 一个漏洞为何能影响数千万服务器以及66%安卓手机?

    安全研究团队Perception Point发现Linux系统内核中存在一个高危级别的本地权限提升0day漏洞,编号为CVE-2016-0728。目前有超过66...

    FB客服
  • Nginx 每天莫名自动重启问题

    最近在做基于openresty的waf,在测试openresty的过程中用openresty替代了原nginx,结果第二天又自动切换回了原nginx,通过ps ...

    ZERO@
  • MongoDB安装说明以及MongoVUE使用

    MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

    书童小二
  • “油罐中的水粒子视界” teamLab 技术赏析——介绍

    两个月前买了在上海油罐艺术中心开展的 teamLab 光影艺术展的票。直到昨天才去看。果然不失所望,名副其实的光影艺术。

    无雨森
  • 数据解析

    用户2398817

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动