学习率
是模型训练中最重要的超参之一,针对学习率
的优化有很多种方法,而warmup
是其中重要的一种。
warmup
是一种学习率优化方法(最早出现在ResNet论文中)。在模型训练之初选用较小的学习率,训练一段时间之后(如:10epoches或10000steps)使用预设的学习率进行训练;
训练之初模型对数据的“理解程度”为0(即:没有任何先验知识)
,在第一个epoches中,每个batch的数据对模型来说都是新的,模型会根据输入的数据进行快速调参,此时如果采用较大的学习率的话,有很大的可能使模型对于数据“过拟合”(“学偏”),后续需要更多的轮次才能“拉回来”;模型对数据具有一定的先验知识,此时使用较大的学习率模型就不容易学“偏”,可以使用较大的学习率加速模型收敛
;模型的分布相对比较稳定,此时不宜从数据中再学到新特点
,如果仍使用较大的学习率会破坏模型的稳定性,而使用小学习率更容易获取local optima
。步子太大,容易扯着dan
,此时需要使用小学习率摸着石头过河
;朝着目标大步向前
;目标
时,使用小学习率进行探索
,此时步子太大,容易错过最近点
;学习率从非常小的数值线性增加到预设值之后保持不变,其学习率的系数如下图所示:
学习率从非常小的数值线性增加到预设值之后,然后再线性减小。其学习率的系数如下图所示。
学习率先从很小的数值线性增加到预设学习率,然后按照cos
函数值进行衰减。其学习率系数如下图所示。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/201118.html原文链接:https://javaforall.cn