pytorch学习笔记(十):learning rate decay(学习率衰减)

pytorch learning rate decay

本文主要是介绍在pytorch中如何使用learning rate decay. 先上代码:

def adjust_learning_rate(optimizer, decay_rate=.9):
    for param_group in optimizer.param_groups:
        param_group['lr'] = param_group['lr'] * decay_rate

什么是param_groups? optimizer通过param_group来管理参数组.param_group中保存了参数组及其对应的学习率,动量等等.所以我们可以通过更改param_group['lr']的值来更改对应参数组的学习率.

# 有两个`param_group`即,len(optim.param_groups)==2
optim.SGD([
                {'params': model.base.parameters()},
                {'params': model.classifier.parameters(), 'lr': 1e-3}
            ], lr=1e-2, momentum=0.9)

#一个参数组
optim.SGD(model.parameters(), lr=1e-2, momentum=.9)

参考资料

https://discuss.pytorch.org/t/adaptive-learning-rate/320/4

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏知道一点点

bootstrap快速入门笔记(一)

623
来自专栏魏艾斯博客www.vpsss.net

在线生成透明圆角图片工具 不用 ps 生成圆角图片方法

魏艾斯博客更新博文都要加上图片,最近感觉自己博文列表的图片不够美观,而别人的博文列表图片是带有圆角的,和矩形图片相比圆角图片看上去比较美观,于是也想照着操作一下...

2896
来自专栏技术博文

ueditor富文本编辑器 修改框宽度和高度的方法

在使用ueditor的时候,用的textarea <textarea name="content" id="myEditor">这里写这条规则的回复内容</te...

3127
来自专栏游戏杂谈

as3的InteractivePNG例子

在as3中很多时候需要只能选中png中可视区域,即透明区域“感觉可以穿透”。两张png重叠的时候,鼠标可以分别响应它们的事件。如下图所示:

572
来自专栏Python研发

搜索框

964
来自专栏Objective-C

iOS-UITableViewCell 选中样式分析

2647
来自专栏听雨堂

JQuery笔记(二) animate支持的属性

以常见的图片切换效果对animate的动画做了实验,用了两种方式,一种是修改相对位置,一个是修改背景的位置,结果第一种可以,第二种失败。 <!DOCTYPE h...

19810
来自专栏smy

css sprite 调整大张图片中小图标的大小

直接说解决方法: ? 假设一张拼合好的大图大小是:900 x 1000 px (如上图) 现在想取图中左上角的河马图标,并缩小图标的大小。 正常取图: .spr...

3545
来自专栏非著名程序员

Android字体大小怎么自适应不同分辨率?

今天有人问我,android系统不同分辨率,不同大小的手机,字体大小怎么去适应呢?其实字体的适应和图片的适应是一个道理的。 一、 原理如下: 假设需要适应320...

2248
来自专栏菩提树下的杨过

用Design+Blend轻松制作环形文字

先看效果图: ? 步骤: 1.先启动Microsoft Expression Design 3 a.画一个正圆,再随便打几个字,同时选中文字和圆 b.选择菜单栏...

17110

扫码关注云+社区