腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
tensorflow中具有重量衰减参数的
SGD
、
、
、
在Keras和
Pytorch
中,
SGD
优化器具有权重衰减参数,我发现tf.train.GradientDescentOptimizer没有重量衰减参数。什么是tensorflow等效的
SGD
与重量衰减?Keras优化器-
浏览 4
提问于2019-03-07
得票数 1
2
回答
pytorch
的交叉损失与keras的"categorical_crossentropy“有区别吗?
、
、
、
我正在尝试在keras中模仿
pytorch
神经网络。我确信我的keras版本的神经网络与
pytorch
中的非常接近,但在训练过程中,我看到
pytorch
网络的损失值比keras网络的损失值要低得多。
Pytorch
损失定义: loss_function = nn.CrossEntropyLoss() optimizer = optim.
SGD
(net.parameters(), lr=args.lr, momentum=0.9, weight_decay=5e-4) Keras损失定义:
sgd</
浏览 555
提问于2020-04-26
得票数 3
回答已采纳
1
回答
Pytorch
:当优化器不得不调用zero_grad()来帮助累积梯度时,动量
SGD
是如何工作的?
、
、
、
在
pytorch
中,backward()函数累积渐变,我们必须通过调用optimizer.zero_grad()在每个小批量中重置它。在这种情况下,当实际动量
SGD
使用过去一些小批次的指数平均值更新权重时,动量
SGD
如何工作。 作为
Pytorch
的初学者,我很困惑。不需要使用过去的渐变来执行更新吗?
浏览 0
提问于2018-12-31
得票数 1
1
回答
模型与
SGD
学习,而不是Adam
、
、
、
、
我正在浏览一个基本的
PyTorch
MNIST示例,并注意到当我将优化器从
SGD
更改为Adam时,模型没有收敛。具体来说,我把第106行从至 optimizer随着
SGD
的下跌,损失迅速下降到低值后,大约四分之一的时代。然而,对于亚当来说,即使在经历了10个时代之后,损失也没有减少。我很好奇为什么会发生这种情况;在我看来,这些应该具有几乎相同的性能。我在ran 10&
浏览 0
提问于2019-04-20
得票数 2
2
回答
如何计算简单线性回归模型的梯度?
、
、
、
、
我正在使用
pytorch
,并试图了解一个简单的线性回归模型是如何工作的。criterion = nn.MSELoss() 最后,为了训练模型,我使用了以下代码
浏览 3
提问于2017-09-18
得票数 5
回答已采纳
1
回答
如何编写一个快速的
PyTorch
训练循环?
、
、
、
、
在将机器学习算法从Keras移植到
PyTorch
之后,我遇到了性能上的糟糕回归。以下是Keras中的构造:..比
Pytorch
中的以下详细版本快约15倍:
浏览 13
提问于2021-05-27
得票数 0
回答已采纳
1
回答
自调整优化器在
PyTorch
中的应用
、
、
、
在
PyTorch
中,权重调整策略由优化器确定,学习速率由调度程序调整。当优化器是
SGD
时,只有一个学习速率,这很简单。我应该把它参数化得与使用
SGD
非常不同吗?
浏览 2
提问于2020-02-14
得票数 4
回答已采纳
1
回答
PyTroch,渐变计算
、
嗨,我正在尝试用
pytorch
来理解神经网络。我对梯度计算有疑问..将torch.optim作为选项导入optimizer = optim.
SGD
(net.parameters(), lr=0.01)optimizer.zero_grad
浏览 10
提问于2019-07-05
得票数 0
1
回答
pytorch
SGD
的默认批量大小是多少?
、
、
、
、
如果我输入整个数据而没有指定批量大小,
pytorch
SGD
会做什么?我在案例中看不到任何“随机性”或“随机性”。例如,在下面的简单代码中,我将整个数据(x,y)输入到一个模型中。optimizer = torch.optim.
SGD
(model.parameters(), lr=0.1) y_pred = model(x_data首先,我认为
SGD
意味着随机选择一个数据点并计算其梯度,该梯度将用作所有数据的真实梯度的近似值。
浏览 23
提问于2020-02-05
得票数 6
1
回答
为什么在相同的网络配置下,Keras的行为比Py手电强呢?
、
、
但是,随着Keras损耗的不断降低,在10个周期后精度较高,而在
Pytorch
的作用下,损耗下降不均匀,在10个周期后精度较低。有人遇到过这样的问题,有什么答案吗?
浏览 7
提问于2019-12-15
得票数 1
1
回答
PyTorch
中的
SGD
优化器实际上是梯度下降算法吗?
、
、
我正在尝试比较神经网络中
SGD
算法和GD算法的收敛速度。在
PyTorch
中,我们经常使用
SGD
优化器,如下所示。train_dataloader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True) 我
浏览 3
提问于2022-06-04
得票数 3
回答已采纳
1
回答
为什么
PyTorch
中的嵌入是作为稀疏层实现的?
、
、
层在
PyTorch
中列在“稀疏层”下,但有以下限制: 原因是什么
浏览 0
提问于2017-12-18
得票数 5
回答已采纳
3
回答
SGD
优化器自定义参数
、
、
我正在练习使用
Pytorch
,并尝试实现一个简单的线性模型。import torch.nn as nncriterion = torch.nn.MSELoss() 我在想我的问题可能在 <
浏览 7
提问于2022-08-31
得票数 0
回答已采纳
1
回答
torch.Tensor.add_是怎么回事?
我正在研究
PyTorch
:的
SGD
实现例如,看看p.data.add_(-group['lr'], d_p)。有道理认为这两个参数是相乘的,对吧?(这就是
SGD
的工作方式,-lr * grads)#this returns an error about
浏览 1
提问于2019-11-19
得票数 5
回答已采纳
1
回答
将预训练模型从3rgb通道更改为4通道后,
PyTorch
:"ValueError:无法优化非叶张量“
、
、
、
我一直在尝试将预训练的RGB的第一个卷积层从3个通道更改为4个通道,同时保持其原始
PyTorch
通道的预训练权重。new_first_layer.weight[:,:3] = weight1 optimizer = torch.optim.
SGD
, 0.001, ---> 13 weight_decay=0.1) # Changing this optimizer from
SGD
t
浏览 188
提问于2021-01-20
得票数 1
回答已采纳
1
回答
RNN的损失丝毫没有减少
、
、
、
、
我已经尝试将权重初始化参数、学习率和批处理大小以及激活函数更改为ReLu仍然没有减少损失这是代码:import torchvision.datasets as dsetsfrom torch.autograd import Variable input_size = 28output_size = 10num_epochs =
浏览 6
提问于2018-02-26
得票数 1
1
回答
我是否需要在
PyTorch
中建立多个神经网络实例来测试多个损失函数?
、
、
、
、
我已经用
PyTorch
编写了一个神经网络,我想比较一下在这个网络上两个不同的损失函数的结果。network_w_loss_2 = ANN().cuda() crit_loss_2 = loss_2() opt_loss_2 = optim.
SGD
('params') for i, dat in enumeraten
浏览 1
提问于2018-05-26
得票数 1
回答已采纳
1
回答
使用ModuleList,仍然得到ValueError:优化器获得了一个空参数列表
、
、
、
、
使用
Pytorch
,我尝试使用ModuleList来确保检测到模型参数,并且可以进行优化。当调用
SGD
优化器时,我得到以下错误: return y_p optimizer = torch.optim.
SGD
浏览 2
提问于2021-01-29
得票数 1
回答已采纳
1
回答
滑雪的LogisticRegression和SGDClassifier的区别?
、
、
、
、
我知道
SGD
是一种优化方法,而Logistic回归(LR)是一种机器学习算法/模型。我也知道SGDClassifier是一个线性分类器,它是由
SGD
优化的(根据这个答案:根据这个答案,但是下面这两个模型有什么不同呢?)
浏览 0
提问于2022-11-24
得票数 0
回答已采纳
1
回答
AttributeError:模块“torch.optim”没有属性“RMSProp”
、
、
在尝试将RMSProp优化器与
PyTorch
一起使用时,将获得以下错误:有谁有主意吗?
浏览 3
提问于2020-06-19
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
去心量子化的SGD算法
Pytorch神器
通过代码原理教你搞懂SGD随机梯度下降、BGD、MBGD
OpenAI 全面使用 Pytorch,TensorFlow与PyTorch 相爱相杀
初识pytorch(一)
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券