\mathrm{G}_{a u x, i}^{t} \leftarrow\left(\mathrm{G}_{a u x, i}^{t} * \frac{\left\|\mathrm{G}_{t a r}^{t}\right\|}{\left\|\mathrm{G}_{a u x, i}^{t}\right\|}\right) * r+\mathrm{G}_{a u x, i}^{t} *(1-r)
上式可以改写为下式,当
||G_{tar}^t|| > ||G_{aux,i}^t||
时,r越大,w越大;反之,r越大,w越小。
\mathrm{G}_{a u x, i}^{t} \leftarrow \mathrm{G}_{a u x, i}^{t} * w_{a u x, i}^{t}
w_{a u x, i}^{t}=\left(\frac{\left\|\mathrm{G}_{t a r}^{t}\right\|}{\left\|\mathrm{G}_{a u x, i}^{t}\right\|}-1\right) * r+1
并且利用梯度的移动平均来替代原来的即时梯度,从而考虑梯度之间的方差,公式如下,
\begin{array}{c}
m_{\text {tar }}^{t}=\beta * m_{\text {tar }}^{t-1}+(1-\beta) *\left\|\mathrm{G}_{\text {tar }}^{t}\right\| \\
m_{a u x, i}^{t}=\beta * m_{a u x, i}^{t-1}+(1-\beta) *\left\|\mathrm{G}_{a u x, i}^{t}\right\|, \forall i=1, \ldots, K
\end{array}