腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在
Keras-to-TPU
模型
中
使用
tensorflow
学习
率
衰减
python
、
tensorflow
、
keras
我正在遵循“如何用TPU训练Keras
模型
的速度更快”指南(click here)
在
谷歌的colab TPU上运行keras
模型
。它工作得很完美。但是,当我拟合我的
模型
时,我喜欢
使用
余弦重新开始
学习
率
衰减
。我已经编写了自己的TFOptimizer回调函数,但它在这个框架
中
不起作用,因为
tensorflow
keras类没有可以重置的
学习
率
变量。我看到
tensorflow</
浏览 16
提问于2019-03-14
得票数 1
回答已采纳
2
回答
在
TensorFlow
2
中
使用
学习
率
计划和
学习
率
预热
python-3.x
、
deep-learning
、
tensorflow2.0
我必须
使用
学习
率
预热,您可以
使用
学习
率
预热开始训练CIFAR-10的VGG-19 CNN,在前10000次迭代(或大约13个时期)
中
从0.00001到0.1%的
学习
率
。然后对于剩余的训练,您
使用
学习
率
0.01,其中
学习
率
衰减
用于
在
80和120个时期将
学习
率
降低10倍。该<em
浏览 62
提问于2020-08-02
得票数 3
1
回答
在
使用
ADAM优化器时,真的有必要调整/优化
学习
率
吗?
tensorflow
、
deep-learning
、
tensorflow2.0
在
tensorflow
/keras中
使用
ADAM作为优化器时,真的有必要优化初始
学习
率
吗?如何做到这一点(
在
tensorflow
2.x
中
)?
浏览 282
提问于2020-06-14
得票数 0
1
回答
学习
速率
在
LSTM
中
的
衰减
machine-learning
、
tensorflow
、
lstm
我目前正在重现
中
描述的char-RNN的代码。
tensorflow
中
已经实现了一些代码,我所指的代码是在上,我对decay.In的
学习
率
有一个疑问,优化器的代码被定义为AdamOptimizer。args.num_epochs):其通过
衰减
常数来调整
学习
率
我的问题是: Adam优化器不是
浏览 7
提问于2016-08-02
得票数 1
回答已采纳
1
回答
使用
自定义估计器控制纪元
python
、
tensorflow
、
tensorflow-datasets
、
tensorflow-estimator
我想实现一些东西,比如
衰减
学习
率
,前n个时代没有敌对损失的训练
模型
等。我正在
使用
tf.data.Dataset和tf.estimator.Estimator。dataset.batch(16) estimator_model.train(input_fn, steps) 它将重建
模型
(不同的权重,不同的检查点目录,不同的
tensorflow
日志)--这对我来说是不可接受的。
在</em
浏览 0
提问于2019-06-07
得票数 1
1
回答
如何在没有内置
衰减
学习
率
的情况下
使用
Tensorflow
的AdamOptimizer?
tensorflow
、
machine-learning
、
deep-learning
据我所知,
Tensorflow
的Adam实现将
学习
速度
衰减
如下:但是,
在
输入优化器之前,我正在尝试手动操作
学习
率
,我希望优化器
中
的
学习
率
保持不变。有没有办法保持
学习
率
不变?我必须为它写一个新的优化器吗?
浏览 3
提问于2018-03-22
得票数 0
2
回答
更改CatBoostRegressor的参数'learning_rate‘
python
、
gradient
、
boosting
、
catboost
在
训练
模型
CatBoostRegressor()期间,有没有可能改变(减少)参数‘
学习
率
’,梯度步长系数?它会减少迭代次数,加快训练速度?
浏览 6
提问于2017-12-30
得票数 0
1
回答
CNN训练不稳定
tensorflow
、
conv-neural-network
我目前正在做一个图像分类,它需要多达81000个数据来训练
模型
(CNN)。它具有非常不稳定的val_training精度和val_accuracy之间的每一个时代。我也为训练做了数据增强。
浏览 4
提问于2021-01-23
得票数 0
回答已采纳
0
回答
如何在Tensorboard
中
更改函数图的颜色?
tensorflow
、
tensorboard
我正在尝试
使用
Tensorflow
比较不同的
学习
率
衰减
。因此,我
在
Tensorboard (‘EVENTS’-标签)
中
可视化了成本函数。我的问题是,函数的不同图具有非常相似的颜色,因此很难比较它们。
浏览 14
提问于2016-07-09
得票数 11
回答已采纳
1
回答
如何将每10个时期的
学习
率
降低0.9倍?
python
、
tensorflow
、
keras
、
deep-learning
我想将
学习
率
设置为10^-3,每10个时期
衰减
0.9倍。我正在
使用
Tensorflow
Keras
中
的Adam优化器。我
在
official documentation中找到了这段代码 initial_learning_rate = 0.1 lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay实际上,我想在10个时代后降低我的
学习
率
。我该怎么做呢?
浏览 29
提问于2021-10-16
得票数 0
回答已采纳
2
回答
如何在
使用
tf.keras.optimizers.schedules.ExponentialDecay?时获取
TensorFlow
2.0
中
SGD优化器的当前
学习
率
python
、
tensorflow2.0
我想在
tensorflow
2.0的SGD优化器
中
降低
学习
率
,我
使用
了下面这行代码: )但我不知道我的
学习
率
是否下降了,我如何才能获得当前的
学习
浏览 0
提问于2019-11-11
得票数 9
1
回答
如何应用指数移动平均
衰减
中
的变量?
deep-learning
、
pytorch
在
训练过程
中
,保持
模型
各权值的移动平均值,指数
衰减
率
为0.999。
在
PyTorch
中
,如何将均衡器应用于变量?
浏览 2
提问于2017-12-06
得票数 5
2
回答
为什么Adam优化器的Keras实现有decay参数,而
Tensorflow
没有?
tensorflow
、
neural-network
、
keras
、
deep-learning
为什么Adam优化器的Keras实现有decay参数,而
Tensorflow
没有?这个说法是什么意思呢?
浏览 2
提问于2018-11-01
得票数 0
2
回答
如何提高
Tensorflow
预测精度
python-3.x
、
tensorflow
、
deep-learning
我正在与
tensorflow
合作创建一个
模型
,该
模型
可以
使用
google.My提供的SVHN数据集对数字进行分类。准确
率
非常低(~25%),但我看到了一个有88%准确
率
的笔记本。我想知道是否有人可以给我一些建议,关于我应该如何提高我的准确性,以使我的
模型
更好。Ps-代码
在
我的system.The问题上确实可以工作,我相信这是因为我的架构。
浏览 0
提问于2017-11-02
得票数 0
1
回答
如何确定神经网络训练过程
中
的
学习
率
?
machine-learning
、
neural-network
、
deep-learning
、
conv-neural-network
例如,如果我想
使用
手动
学习
率
,初始
学习
率
为0.01,10000步后
衰减
学习
率
为0.001,20000步后
衰减
学习
率
为0.0001。 我如何才能知道这些我需要
衰减
学习
率
的步骤?有什么经验可以指导我吗?我们通常可以
在
论文中找到这些步骤,但作者是如何获得这些步骤的?
浏览 11
提问于2017-12-08
得票数 0
4
回答
如何为GradientDescentOptimizer设置自适应
学习
率
?
python
、
tensorflow
我正在
使用
TensorFlow
来训练神经网络。tf.square(out - out_))这里的问题是,我不知道如何为
学习
率
或
衰减
值设置更新规则如何在这里
使用
自适应
学习
率
?
浏览 56
提问于2015-11-25
得票数 108
回答已采纳
2
回答
当
TensorFlow
中
的
学习
速率
衰减
时,何时设置楼梯是正确的?
machine-learning
、
neural-network
、
tensorflow
、
conv-neural-network
回想一下,当中的
TensorFlow
1
中
的
学习
速率是这样的: 如果参数阶梯为真,则global_step /decay_steps是整数除法,
衰减
学习
率
遵循阶梯函数。什么时候更好地
衰减
每一个X数的步骤,并遵循楼梯的情况下的功能,而不是一个更平滑的版本,
浏览 5
提问于2016-06-27
得票数 4
0
回答
在
CNN上,快速损失收敛意味着什么?
batch-file
、
tensorflow
、
deep-learning
、
caffe
、
loss
我正在两个不同的DL库(Caffe
Tensorflow
)
中
训练两个CNN (AlexNet E GoogLeNet)。所以我训练了CNN,不同的处理单元(CPU/GPU)和批处理大小,我观察到损失很快收敛到接近零(
在
大多数情况下在1个时期完成之前),如下图所示(
Tensorflow
上的Alexnet):
在
葡萄牙语
中
键
中
的数字是指批量大小。 权重
衰减
和初始
学习
率
与我下载的
模型
上
浏览 5
提问于2017-12-05
得票数 2
回答已采纳
2
回答
如何选择正确的
学习
率
乘数值?
optimization
、
pytorch
、
learning-rate
我想要手动选择正确的
学习
率
在
一个图像分类问题中
使用
Pytorch,通过运行
模型
的几个时代。我已经
使用
LR调度器来
衰减
学习
速率,并且
在
优化器参数组
中
也操纵了
学习
速率,但是我看不到损失的任何变化。
浏览 2
提问于2020-01-16
得票数 2
回答已采纳
1
回答
学习
率
将wrt
衰减
为累积奖励?
reinforcement-learning
、
dqn
在
深度强化
学习
中
,有没有办法将
学习
率
wrt
衰减
为累积奖励?我的意思是,当智能体能够
学习
并最大化奖励时,
衰减
学习
率
?
浏览 18
提问于2020-06-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
通过机器学习发现神经网络优化器
谷歌新技术:神经优化器搜索,自动找到可解释的优化方法
机器都会学习了,你的神经网络还跑不动?来看看这些建议
如何1行BN“批规范化”提高训练速度准确率,有深度学习5层网络比较源码
Keras:一个基于Python的深度学习库
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券