在深度学习优化算法中,例如Momentum、RMSprop、Adam,都提到了一个概念,指数加权平均,看了Andrew Ng的深度学习课程后,总结一下什么是指数加权平均。
式中v_t可近似代表1/(1-β)个θ的平均值。
由以上证明可以看出,每个最新数据值,依赖于以前的数据结果。
一般令第一个数值为0,即v0=0;但此时初期的几个计算结果就会与真实的平均值有较大偏差,具体如下:
有了指数加权平均、偏差修正的基础,就可以研究一下深度学习中优化算法的实现原理了。
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!