专栏首页mathorLearning Rate Decay

Learning Rate Decay

学习率对整个函数模型的优化起着至关重要的作用

最左边的图由于learning rate设置小了,可能需要大量时间才能找到全局最小值;中间的图表示learning rate设置的刚刚好,则很快就能找到全局最小值;最右边的图表示learning rate设置过大,可能造成loss忽大忽小,无法找到全局最小值

由此可以看出,选择合适的learning rate是很讲究技巧的。如下图所示,设置一个可以自动衰减的learning rate可能会在一定程度上加快优化

在pytorch中有一个函数可以帮助我们实现learning rate decay

class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10,
verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-8)
# patience=10代表的是耐心值为10,
# 当loss出现10次不变化时,即开始调用learning rate decay功能
optimizer = torch.optim.SGD(model.parameters(),
                            args.lr,
                            momentum=args.momentum,
                            weight_decay=args.weight_decay)
scheduler = ReduceLROnPlateau(optimizer, 'min')

for epoch in xrange(args.start_epoch, args.epochs):
    train(train_loder, model, criterion, optimizer, epoch)
    result_avg, loss_val = validate(val_loder, model, criterion, epoch)
    scheduler.step(loss_val)
    # 设置监听的是loss

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • TRIE(4)

     这道题的大意是我们有一个网站,然后要配置规则,决定哪些IP能访问,哪些IP不能。这些规则大概长这个样子:

    mathor
  • 如何让局域网内的其他人访问到自己在Tomcat上部署的项目

     学JSP第三节课,今天老师上课讲了开启Tomcat之后,将自己电脑的文件放到指定的目录下,可以让同宿舍的人访问并且下载,老师只是提了一下,没有具体讲,后来我看...

    mathor
  • RNN原理

    现在考虑这样一个问题,给一句话,如何判断这句话的情感是积极的(Positive)还是消极的(Negative)

    mathor
  • 《软件工程之美》打卡第四周

    最近笔者参加了极客时间的21天打卡行动,从年初开始到年末,21天无间断完成了打卡行动。虽然打卡行动已经结束,但还是不想因此就懈怠了,人一尝点甜头就容易忘乎所以,...

    用户1130025
  • Windows Server 2008企业64位版防火墙添加端口的方法

    原始地址:http://www.veryhuo.com/a/view/48280.html

    跟着阿笨一起玩NET
  • Spring AOP 注解方式实现的一些“坑”

    使用之前还是先过一下官方文档吧,至少可以少走弯路,不用担心英文读不懂,其实只看代码例子就能理解很多问题!

    飞奔去旅行
  • 反弹shell的学习总结 - Part 1

    Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日...

    贝塔安全实验室
  • Salesforce LWC学习(十三) 简单知识总结篇一

    本篇参考:https://developer.mozilla.org/zh-CN/docs/Web/JavaScript

    用户1169343
  • 一次数据可视化的过程【Excel】

    故事是这样的,在知乎上有一个问题叫做: 有哪些质量很高的冷门电影? 有3万多的关注者,181万的浏览量。 ? 今天主要想记录下数据分析的过程。(数据采集并...

    小歪
  • ceph-对象存储

    作为文件系统的磁盘,操作系统不能直接访问对象存储。相反,它只能通过应用程序级别的API访问。ceph是一种分布式对象存储系统,通过ceph对象网关提供对象存储接...

    yuezhimi

扫码关注云+社区

领取腾讯云代金券