论文首先发现问题,和其他相关研究类似,L2和weight decay在adam这种自适应学习率上的表现很差,导致很多人还是采用SGD+momentum策略。类似的有相关研究,从各种方面出发,作者发现效果差的最主要原因是L2效果不好。因此其最主要的贡献是: improve regularization in Adam by decoupling the weight decay from the gradient-based update
论文主要结果:
首先在SGD中,L2正则和weight decay是等价的,证明如下,因此之前很多人会把两者弄混淆。但是在自适应梯度方法中是不一样的。
证明:在SGD中,L2正则与weight decay等价
由定义可知如下,
其中α为学习率。
若,以L2正则更新梯度:
其实根据上面的推断可以看出来,\lambda^"=\frac{\lambda}{\alpha},因此要把学习率和L2权重系数解耦,让二者关联变小。接着作者就分别提出了SGD和Adam版本解耦的优化方案,SGDW和AdamW,然后在论文第三章,去证明解耦的合理性。后面就是都是证明实验啥的。
最后总结一下,AdamW总的来说比Adam更具有泛化性,尤其是在正则很重要的场景下效果会很好。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。