pytorch学习笔记(十):learning rate decay(学习率衰减)

pytorch learning rate decay

本文主要是介绍在pytorch中如何使用learning rate decay. 先上代码:

def adjust_learning_rate(optimizer, decay_rate=.9):
    for param_group in optimizer.param_groups:
        param_group['lr'] = param_group['lr'] * decay_rate

什么是param_groups? optimizer通过param_group来管理参数组.param_group中保存了参数组及其对应的学习率,动量等等.所以我们可以通过更改param_group['lr']的值来更改对应参数组的学习率.

# 有两个`param_group`即,len(optim.param_groups)==2
optim.SGD([
                {'params': model.base.parameters()},
                {'params': model.classifier.parameters(), 'lr': 1e-3}
            ], lr=1e-2, momentum=0.9)

#一个参数组
optim.SGD(model.parameters(), lr=1e-2, momentum=.9)

参考资料

https://discuss.pytorch.org/t/adaptive-learning-rate/320/4

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏贾志刚-OpenCV学堂

tensorflow object detection API训练公开数据集Oxford-IIIT Pets Dataset

object detection API 安装参见官方的github: https://github.com/tensorflow/models/tree/ma...

1112
来自专栏散尽浮华

rsync同步时,删除目标目录比源目录多余文件的方法(--delete)

在日常运维工作中,我们经常用到rsync这个同步神器。有时在同步两个目录时,会要求删除目标目录中比源目录多出的文件,这种情况下,就可用到rsync的--dele...

2616
来自专栏Python小屋

Python通过多帧静态图像制作GIF动态图像

下面的代码可以把多个png图像文件合并为一个GIF动态图像文件,如果无法正常执行的话,除了需要使用pip安装pillow和images2fig扩展库之外,很可能...

3866
来自专栏别先生

eclipse从git拉去出现红色方块的解决办法

1:由于错误已经解决,这里借了一副图,主要是显示这个红色方块,然后贴一下解决方法,日后好脑补: ? 大家一看肯定都是冲突了,我也是第一次遇到这种错误,贴一下(鼠...

3157
来自专栏coderhuo

虚拟内存探究,深入理解进程地址空间

想了解堆栈等虚拟内存相关知识吗? 想知道下面这张进程地址空间示意图是如何一步一步画出来的吗? 《虚拟内存探究》系列文章将通过实验的方式带你学习相关知识。

732
来自专栏深度学习之tensorflow实战篇

r软件安装过程中,rjava 安装完成版

在做文本挖掘的时候,会发现分词时候rJava是必须要迈过去的坎儿,所以进行了总结: 第一步:安装rJava和jdk install.packages("rJ...

2346
来自专栏PPV课数据科学社区

【学习】如何快速批量删除Excel单元格中的“换行符”

在Excel单元格中按Alt+Enter就会进行换行,就像在Word中按回车键一样。如果许多单元格中都包含这样的“换行符”,现在要将其全部删除掉,...

2473
来自专栏AI研习社

Github 项目推荐 | Nvidia 图片风格转换工具 —— FastPhotoStyle

FastPhotoStyle 是 Nvidia 的图片风格转换工具,其中包含了照片变为各种艺术风格的算法。通过给定的照片和风格,该工具可通过特定的算法何成为用户...

34511
来自专栏Small Code

使用 tree 命令格式化输出目录结构

今天在写一个 Markdown 文件的时候需要将一个目录的结构表示出来,于是找了找有没有相关命令,找到一个叫做 tree 的命令,Windows 和 Linux...

2328
来自专栏Python小屋

Python操作Excel文件:插入一列数据

问题描述:已有Excel文件,其中包含5列数据,要求在第3列前插入一列数据,保存为新文件。

723

扫码关注云+社区