腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1820)
视频
沙龙
1
回答
如
何在
PyTorch
中
合并
两个
学习
率
调度
器
?
pytorch
我知道我可以在用OneCycleLR增加LR后手动模拟ReduceLROnPlateau,但是有没有一种更简单的方法来直接使用这
两个
调度
器
? 提前谢谢。
浏览 25
提问于2019-10-11
得票数 3
1
回答
Pytorch
调度
器
:如何减少LR历元
pytorch
、
scheduler
我正在用
pytorch
训练一个网络,并使用ReduceLROnPlateau作为
调度
器
。我在参数
中
设置了verbose=True,
调度
程序打印如下所示: 时代169:将
学习
率
降低到3.00e-04。时代178:将
学习
率
降低到1.5000e-04。 我想以某种方式
浏览 0
提问于2021-08-12
得票数 0
回答已采纳
1
回答
每次重启后降低最大
学习
率
python
、
deep-learning
、
pytorch
、
gradient-descent
、
sgd
对于优化
器
,我发现在整个训练中使用单一的
学习
率
并不理想,人们所做的就是使用
学习
率
调度
器
以特定的方式衰减
学习
率
。因此,为了做到这一点,我尝试了
PyTorch
's CosineAnnealingWarmRestarts().,它的作用是以余弦方式退火/降低初始
学习
率
(由我们设置),直到它重启。在这个“重启”之后,
学习
率
被设置回初始
浏览 46
提问于2020-06-17
得票数 1
1
回答
如何检测
pytorch
中
是否触发了回调?
python
、
nlp
、
pytorch
、
bert-language-model
我正在微调BERT模型。首先,我想冻结图层并进行一些训练。当某个回调被触发(比方说ReduceLROnPlateau)时,我想解冻层。我该怎么做呢?
浏览 34
提问于2021-02-09
得票数 0
回答已采纳
3
回答
如
何在
N个时期后调整
学习
率
?
python
、
nlp
、
pytorch
、
huggingface-transformers
我在用Hugginface的训练
器
。如
何在
N个时期后调整
学习
率
?例如,我将初始
学习
率
设置为lr=2e-6,并且我希望在第一个时期之后将
学习
率
更改为lr=1e-6,并在剩余的训练中保持该
学习
率
。last_epoch=-1我知道有,但在这里,它每个时代都会降低
学习
率
浏览 5
提问于2021-07-23
得票数 1
2
回答
如何选择正确的
学习
率
乘数值?
optimization
、
pytorch
、
learning-rate
我想要手动选择正确的
学习
率
在一个图像分类问题中使用
Pytorch
,通过运行模型的几个时代。我已经使用LR
调度
器
来衰减
学习
速率,并且在优化
器
参数组
中
也操纵了
学习
速率,但是我看不到损失的任何变化。
浏览 2
提问于2020-01-16
得票数 2
回答已采纳
3
回答
如何修正
调度
程序的“恢复优化
器
时未指定的initial_lr”错误?
python
、
machine-learning
、
pytorch
、
scheduler
在
PyTorch
中
,我配置了这样的SGD: 'params' : net.parameters(), 'weight_decay每30个时代的
学习
率
会降低10倍。 因此,在100个时代,我将得到两倍的0.1降低我的
学习
率
。我读过关于
学习
速率
调度
<
浏览 64
提问于2022-04-29
得票数 0
1
回答
基于深度
学习
的多参数恢复
python
、
deep-learning
、
neural-network
、
pytorch
、
regression
作为我实际研究问题的一个简化版本,假设我有一个二阶多项式函数y = a_x^2 + b_x +c,我想用一个深神经网络来预测给定变量x和函数y的值的参数a、b和c,变量x和参数a、b、c在0,1范围内从均匀分布
中
剔除即使我设定了更高的
学习
动力或者更低的
学习
率
,这种情况也会发生。而且,如果我尝试每次恢复一个参数,我也会遇到同样的问题。 举个例子,下面是我在第一次测试中使用的
PyTorch
代码(4层,前3层,后面是ReLU、MSELoss、RMSprop优化
器
,
学习</em
浏览 14
提问于2021-12-14
得票数 0
1
回答
torch.load load_checkpoint和learning_rate
python
、
pytorch
、
checkpointing
optimizer.param_groups:为什么optimizer.load_state_dict(checkpoint["optimizer"])不能给出旧检查点的
学习
率
不管怎么说,代码中都没有
学习
速率衰减。那这还重要吗?
浏览 3
提问于2022-03-31
得票数 3
1
回答
transformers
调度
器
和
Pytorch
调度
器
之间的区别
python
、
pytorch
、
huggingface-transformers
Transformers还提供了自己的
调度
器
来
学习
速率,
如
get_constant_schedule、get_constant_schedule_with_warmup等。它们再次返回torch.optim.lr_scheduler.LambdaLR (火炬
调度
器
)。这两者之间唯一的区别是warmup_steps吗?我们如何创建一个自定义的基于转换
器
的
调度
器
,类似于lr_scheduler.MultiplicativeLR、lr_sc
浏览 34
提问于2021-07-26
得票数 0
1
回答
在
Pytorch
中
实现自定义
学习
率
调度
器
?
tensorflow
、
pytorch
、
transformer
、
attention-model
我想实现这个
学习
率
方法,就像论文中所说的那样,注意就是你所需要的一切。我在Tensorflow中有这段代码,但我也想用
Pytorch
实现它。我知道
Pytorch
有这方面的模块(https://
pytorch
.org/docs/stable/_modules/torch/optim/lr_scheduler.html),但是我该怎么做一个定制的
调度
器
呢
浏览 45
提问于2021-10-14
得票数 0
回答已采纳
1
回答
对于使用
Pytorch
和Fast的分类,培训结果是不同的。
python
、
pytorch
、
fast-ai
我有
两个
训练蟒蛇脚本。一种是使用
Pytorch
的API进行分类训练,另一种是使用Fast.使用Fast有更好的效果。6 0.004008 0.003211 0.999748 22:43 使用Fastai如下所示。
浏览 2
提问于2020-11-28
得票数 3
回答已采纳
1
回答
PyTorch
中
随机加权平均
学习
率
的设定
python
、
machine-learning
、
optimization
、
pytorch
# Use swa_model to make predictions on test data在这段160年代以后的代码
中
,说, swa_lr会影响optimizer的
学习</
浏览 4
提问于2021-08-10
得票数 5
回答已采纳
1
回答
如
何在
训练循环(以及优化
器
/
调度
器
交互)中使用
Pytorch
OneCycleLR?
pytorch
我正在训练一个NN,并使用RMSprop作为优化
器
,使用OneCycleLR作为
调度
器
。scheduler.step() test() 注意每个小批处理
中
的优化
器
和
调度
器
调用。这是可行的,虽然当我通过训练绘制
学习
率
时,曲线非常颠簸。我会忽略这一点并信任文档
中
的伪代码吗?嗯,我做了,而模型没有做任何
学习<
浏览 5
提问于2020-01-31
得票数 5
1
回答
理解ResNet实现的问题
python
、
deep-learning
、
pytorch
、
resnet
、
image-classification
我很难理解和复制CIFAR-10数据集上ResNet的原始实现,正如论文“图像识别的深度残差
学习
”所描述的那样。这些型号是在
两个
GPU上训练的,小批量大小为128。我们的
学习
速度为0.1,32k和48k时除以10,64k迭代时终止训练,45k/5k训练/val分裂决定训练结束。我们按照24个简单的数据增强来进行训练:每边填充4个像素,从填充图像或其水平翻转
中
随机抽取32×32帧。对于测试,我们只评估原始32×32图像的单一视图。 在
两个
GPU上一个128的小批号需要什么?如
何
浏览 1
提问于2022-07-13
得票数 -1
回答已采纳
1
回答
Pytorch
培训问题: NN的丢失不会减少
pytorch
、
classification
但是,在训练我的神经网络时,损失并没有减少,我检查了不同
学习
率
和有或没有辍学层的情况。 train(epoch)while i > 0: i -= 1 在TRAINDATAPATH
中
,
浏览 2
提问于2020-06-01
得票数 0
回答已采纳
1
回答
在不使用回调的情况下为Adam设置自适应
学习
率
python-3.x
、
tensorflow
、
tensorflow2.0
、
tf.keras
在TF2.0
中
,优化
器
被定义为在这种情况下,如何设置
学习
率
?它只是像下面这样初始化参数吗?如何设置自适应
学习
率
?tf.keras.optimizers.Adam(learning_rate=0.001)model.fit
浏览 2
提问于2019-09-20
得票数 1
3
回答
在
PyTorch
上预热的Adam优化
器
python
、
machine-learning
、
pytorch
在论文的第5.3节
中
,作者建议线性增加
学习
率
,然后与步长的平方根倒数成比例降低。我们如何使用优化
器
在
PyTorch
中
实现这一点?优选地,没有附加的包。
浏览 0
提问于2020-12-17
得票数 4
2
回答
Oracle 11g和许多监听程序
oracle
、
oracle11g
、
listener
我目前正在
学习
Oracle 11g产品的数据库管理,我有一些问题:2)在客户端,我如何指明他必须使用哪个监听
器
?我知道它使用的是de tnsname.ora文件,但是我如
何在
客户机上设置它? 谢谢。
浏览 2
提问于2012-12-14
得票数 1
回答已采纳
1
回答
如何提高Python
中
的图像分类keras模型的准确性?
python
、
tensorflow
、
machine-learning
、
keras
、
classification
我正在尝试将一组蜜蜂图像分为两类--大黄蜂和蜜蜂,其结果是一个CSV文件,
如
- 20000,0.75,0.25。我有一个运行模型,但是精度很低,我尝试了很多不同的东西,比如添加一个base_model,比如VGG16或InceptionV3,调整时间,调整优化
器
类型.我只是没注意到有什么不同。
浏览 0
提问于2018-04-24
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
陈天奇等人提出TVM:深度学习自动优化代码生成器
7个实用小技巧,提升PyTorch技能,还带示例演示
60分钟入门PyTorch,官方教程手把手教你训练第一个深度学习模型
PyTorch官方教程大更新:增加标签索引,更加新手友好
PyTorch1.6:新增自动混合精度训练、Windows版开发维护权移交微软
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券