前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >什么是指数加权平均、偏差修正?

什么是指数加权平均、偏差修正?

作者头像
10JQKA
发布2018-05-09 10:49:00
2.3K0
发布2018-05-09 10:49:00

指数加权平均

在深度学习优化算法中,例如Momentum、RMSprop、Adam,都提到了一个概念,指数加权平均,看了Andrew Ng的深度学习课程后,总结一下什么是指数加权平均。

 式中v_t可近似代表1/(1-β)个θ的平均值。


偏差修正

由以上证明可以看出,每个最新数据值,依赖于以前的数据结果。

一般令第一个数值为0,即v0=0;但此时初期的几个计算结果就会与真实的平均值有较大偏差,具体如下:

有了指数加权平均、偏差修正的基础,就可以研究一下深度学习中优化算法的实现原理了。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-03-11 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 指数加权平均
  • 偏差修正
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档