优化算法

1. 简介

深度学习网络中参数更新的优化方法主要分为两种：

• 调整学习率，使得优化更稳定
• 梯度估计修正，优化训练速度

2. 常用优化方法汇总

3. 原理

上述常用方法均可以使用一下公式来进行同一描述：

其中，\frac{\partial L}{\partial \boldsymbol{W}_t} 是第 t 步的梯度，\eta_t 是第t 步的学习率（可以进行衰减，也可以不变）；\psi(\cdot) 是学习率缩放函数，可以取 1 或者历史梯度的模的移动平均；\phi(\cdot) 是优化后的参数更新方向，可以取当前的梯度 \frac{\partial L}{\partial \boldsymbol{W}_t} 或历史梯度的移动平均。