深度学习优化算法中指数加权平均

什么是指数加权平均

在深度学习优化算法(如Momentum、RMSprop、Adam)中，都涉及到指数加权平均的概念，它是一种常用的序列数据处理方式。

它的计算公式如下:

其中

为t时刻的实际观察值；

是t时刻的指数加权平均值；γ是历史数据的权重，是可调节的超参，

指数加权平均，作为原数据的估计值，它通过引入历史数据，在平滑短期波动的同时， 也将数据的长期趋势刻画出来。

同时加权平均实现了一个很直观的现象：距离当前时刻越远，对当前值的贡献就越小。

指数加权平均为什么可以平滑波动

展开计算

取

可以看到，加权系数是随着时间以指数形式递减的，时间越近，权重越大，时间越远，权重越小。

如上图所示，是一个温度的指数加权平均的示例，蓝色的点是每天的温度值。 当

时，指数加权平均的结果如图绿色线所示； 当

时，指数加权平均的结果如下图黄色线所示；

γ值越小，曲线波动越大

γ值越大，曲线波动越小，但同时变化相对于数据变化趋势也有滞后。