在tensorflow/keras中使用ADAM作为优化器时，真的有必要优化初始学习率吗？如何做到这一点(在tensorflow 2.x中)？
浏览 282提问于2020-06-14得票数 0
1回答
tensorflow中已经实现了一些代码，我所指的代码是在上，我对decay.In的学习率有一个疑问，优化器的代码被定义为AdamOptimizer。当我浏览代码时，我看到了如下一行： sess.run(tf.assign(model.lr, args.learning_rate* (args.decay_rate ** e)))
其通过衰减常数来调整学习率</e
浏览 7提问于2016-08-02得票数 1
回答已采纳
我想使用Keras来做两类图像分类，使用来自Kaggle.com的猫和狗数据集。但是我对下面的代码中的参数"class_mode“有一些问题。如果我使用“二进制”模式，准确率约为95%，但如果我使用“分类”模式，准确率就会异常低，只有50%以上。
二进制模式意味着最后一层只有一个输出，并使用sigmoid激活进行分类。分类表示最后一层的两个输出，并使用softmax激活进行分类。样本的标签是一种热格式，例如(1，0)，(0,
浏览 19提问于2017-08-24得票数 5
1回答
在PyTorch中，权重调整策略由优化器确定，学习速率由调度程序调整。当优化器是SGD时，只有一个学习速率，这很简单。当使用Adagrad，Adam，或任何类似的优化器来根据参数来调整学习速度时，有什么特别值得注意的吗？我是否可以完全忽略调度程序，因为算法<
浏览 2提问于2020-02-14得票数 4
回答已采纳
1回答
数据集有15000个观测值，我把它分成了一个训练、验证和测试集(分层的)。问题是，我的培训和验证损失根据批处理大小(在DataLoader中传递)发生了很大的变化。如果使用的批处理大小为64，则损失函数如下所示这很奇怪。我还看到，训练集达到一个较高的召回率相当快(在~4个时代之后)，而验证集的改进缓慢。因此，似乎也存在一个过度
浏览 0提问于2021-04-16得票数 1
回答已采纳
2回答
我认为Adam优化器的设计使得它能够自动调整学习速度。但是有一个选项可以显式地提到Keras中Adam参数选项中的衰变。我想澄清衰变对Keras中Adam优化器的影响。如果我们在lr = 0.001 0.001上用衰减式0.001.0 1编译模型，然后拟合该模型运行50次，那么在每一时期后，学习率会降低0.0 1倍吗</
浏览 3提问于2020-02-02得票数 6
回答已采纳
2回答
我正在为一个机器人应用程序运行一个SAC强化学习器，取得了一些不错的结果。我选择强化学习的原因之一是为了在现场学习的能力，例如，调整以适应机械变化，如磨损的轮胎或车轮稍微偏离对齐。我的强化学习器在启动时恢复它最后保存的权重和重放缓冲区，所以它不需要每次我打开它时都重新训练。然而，我关心的一个问题是优化器。自从ADAM以来，优化<
浏览 3提问于2020-01-21得票数 0
2回答
重新开始使用adam
、、、、
我从较高的学习率开始，并且基于验证损失，我需要从较早的快照重新开始训练。
我可以使用模型和优化器state_dicts保存/加载快照。这没问题。我的问题是，一旦我重新开始训练，我如何再次设置adam的学习率？我应该重新启动adam fresh而不是使用state_dict，还是应该使用optimizer.param_groups[0][‘lr’] = lr通过加载的优化<
浏览 6提问于2019-10-09得票数 1
据我所知，Tensorflow的Adam实现将学习速度衰减如下：但是，在输入优化器之前，我正在尝试手动操作学习率，我希望优化器中的学习率保持不变。有没有办法保持学习率不变？我必须为它写一个新的优化器
浏览 3提问于2018-03-22得票数 0
2回答
我正在研究一个使用转移学习的图像分类问题。使用的参数如下：
model.compile(optimizer = adamOpti, loss= "categorical_crossentropy, metrics = ["accuracy"])
在测试中，我使用了adam<
浏览 0提问于2019-05-02得票数 6
回答已采纳
我有一个如下的设置，在这里我有一个外部的for循环迭代在epochs上，一个内部的for循环迭代在批处理上。但是，我注意到，当我使用</
浏览 63提问于2020-05-14得票数 0
我正试着用Pytorch训练CNN的文本分类器。我像这样使用Adam优化器。optimizer = torch.optim.Adam(CNN_Text.parameters(), lr=args.lr)所以，我实现了学习率衰减，
If curr_loss > val_
浏览 11提问于2018-12-06得票数 1
我对adam优化器在tensorflow中的实际工作方式感到困惑。但当我调用函数时，我会给它一个学习率。我显式地调用每个批处理的函数，如下所示 for batch in data
sess.run(train_adam_step, feed_dict或
浏览 0提问于2016-06-16得票数 15
回答已采纳
我正在用Adam优化器训练一个图像本地化网络，有人建议我使用指数衰减。我不想尝试这一点，因为Adam优化器本身会降低学习速度。但那家伙坚持，他说他以前做过。所以我应该这么做，你的建议有什么理论依据吗？
浏览 8提问于2016-09-15得票数 125
回答已采纳
2回答
我是深度学习的新手。我构建了一个小型架构，并使用Adam优化器对其进行编译，如下所示：#Train
浏览 0提问于2020-09-03得票数 0
在Keras中，如果将模型的损失函数乘以某个常数C，并将学习率除以C，那么训练过程中就不会出现差异，这是真的吗？def my_loss(y_true, y_est): 在第一个场景中，我使用学习率等于0.005的Adam优化器，并使用该损失函数和
浏览 0提问于2017-10-18得票数 1
1回答
如Schaul &Le村的论文所述
研究结果很清楚:与其他被测试的算法相比，vSGD不需要任何超参数调整就能在广泛的测试中提供可靠的良好性能:学习率会自动适应不同的曲率和噪声水平。自动调整学习速度听起来是件大事，但为什么每个人都在使用Adam和其他优化器呢？
浏览 0提问于2017-10-10得票数 2
1回答
我最近完成了一个“相当好的”TF2/keras模型，用于图像识别，使用了许多层，SGD优化，并从MobileNetv2预训练模型开始。我可以永远调整:添加/删除层，不同的优化算法，学习率，动量，各种数据集增强，等等。我甚至没有考虑从其他预训练模型开始。我将优化器从SGD改为ADAM (应该更好，对吧？)而且它稍微更不准确。这只是一次试错吗？训练我的模型需要大约45分钟(10个时期)，当我调
浏览 1提问于2019-10-26得票数 0
我在Pytorch上运行了一个基于Linknet架构的图像分割代码。优化器初始设置为： self.optimizer = torch.optim.Adam(params=self.net.parameters(), lr=lr) 然后我将其更改为Nesterov以提高性能self.optimizer = torch.optim.SGD(params=self.net.parameters(), lr=lr, momentum=0.9, nesterov=True) 然而，使用当我使用<e
浏览 45提问于2021-08-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
