pytorch F.cross_entropy不会对权重应用渐变

文章/答案/技术大牛

发布

1回答

pytorch、gradient

我已经在input data data_tr.requires_grad=True上启用了渐变我有一个像这样初始化的2层MLP： W1 = torch.randn([4, 64], requires_gradW2 = W2 - lr * W2.grad b2 = b2 - lr * b2.grad 这使得2层MLP和cross_entropy应用现在的问题是，在反向传递之后，没有任何权重或偏差(W1、W2、b1、b2)具有任何渐变。因此，我在第一次尝试更新<e

浏览 14提问于2020-04-30得票数 1

回答已采纳

2回答

使用torch.no_grad()的目的是什么：

python、machine-learning、pytorch、linear-regression、gradient

考虑使用PyTorch实现线性回归的下列代码： X是输入，Y是训练集的输出，w是需要优化的参数。

浏览 27提问于2022-06-05得票数 4

1回答

加权均值和方差的更新

neural-network、pytorch、probability、bayesian、weight-initialization

我试着从论文神经网络中的权重不确定性的反推算法来理解贝叶斯，其思想是建立一个神经网络，其中每个权重都有它自己的概率分布。我明白这一理论，但我不明白如何更新学习部分的均值和方差。我在Pytorch中找到了一个代码，它简单地做到了：def __init__(self, in_features, out_features

浏览 0提问于2021-04-14得票数 1

1回答

PyTorch optimizer.step()函数不更新权重

python、deep-learning、pytorch、perceptron

澄清一下，我刚刚开始使用PyTorch学习深度学习，所以这可能是一个非常新的问题。我试过寻找解决办法，但没有运气。我还比较了我的代码和其他代码的工作，但我不知道我做错了什么。

浏览 1提问于2018-12-04得票数 2

回答已采纳

1回答

PyTorch中的简单L1损失

python、machine-learning、deep-learning、pytorch

我想在神经网络中计算L1损失，我在上遇到了这个例子，但代码中有一些错误。l1_crit = nn.L1Loss()for param in model.parameters():loss += factor * reg_lossloss = torch.nn.L1Loss()

浏览 0提问于2020-06-16得票数 1

3回答

torch.no_grad()对模型精度的影响

python、model、pytorch、torch、image-compression

我得到一个错误"CUDA out of memory“，然后我将torch.no_grad()函数添加到我的代码中。这对我的准确性有影响吗？ encoded, encoder_h_1, encoder_h_2, encoder_h_3 = encoder( code = binarizer(encoded) w

浏览 7提问于2020-08-11得票数 0

2回答

线性激活和ReLU激活在使用kernel_constraint NonNeg时是否具有相同的行为？

tensorflow、keras、tf.keras

最近，我在Keras中使用内核约束来限制训练过程中的梯度。对于我的用例(回归)，我发现约束非常有用。据我理解，非the类将梯度限制为仅为正(可能使用绝对梯度)。因此，我想知道在添加非vs.约束时，使用线性激活layers.Dense(1, activation = "linear", kernel_constraint = "non_neg")激活层与使用ReLU激活layers.Dense(1, activation = "relu", kernel_constraint = "non_neg")激活层是否有什么不同。你有什么

浏览 11提问于2022-02-22得票数 1

回答已采纳

1回答

在PyTorch中实现快速密集特征提取

python、pytorch

我正在尝试用PyTorch Fast Dense Feature Extractor实现这篇文章，但我在将他们提供的火炬实现示例转换成PyTorch时遇到了麻烦。到目前为止，我的尝试有一个问题，即当向特征映射添加额外的维度时，卷积权重与特征形状不匹配。这在Torch中是如何管理的(从他们的实现来看，Torch似乎并不关心这一点，但PyTorch关心)。基本上，我有一个特征提取器，可以将128x128的补丁转换为嵌入，我想以密集的方式将其应用于更大的图像，而不是使用for循环来评估每个位置

浏览 36提问于2019-03-13得票数 1

回答已采纳

4回答

torch.no_grad在火炬中的用途是什么？

python、pytorch

我是个新手，开始使用这 github代码。我不理解代码"because weights have requires_grad=True, but we don't need to track this in autograd"中第60-61行中的注释。我知道我们提到的变量是requires_grad=True，我们需要这些变量来计算使用自梯度的梯度，但是成为"tracked by autograd"意味着什么呢？

浏览 0提问于2018-06-05得票数 67

回答已采纳

1回答

State_dict中的意外键：“模型”，“选择”

python、deep-learning、pytorch、fast-ai

在我的码头配置中：RUN pip install torch_nightly -f https://download.pytorch.org/

浏览 3提问于2019-03-07得票数 1

回答已采纳

1回答

tf.train.RMSPropOptimizer(lr_rate).compute_gradients?和tf.gradients有什么区别？

python、numpy、machine-learning、tensorflow、deep-learning

两者有什么区别？和如果有什么不同，比如说我想使用tf.train.RMSPropOptimizer(self.lr_rate).apply_gradients()，哪一种更好呢？

浏览 7提问于2016-12-23得票数 4

2回答

滑雪板中的对数丢失与火炬中的BCEloss的差异？

python、scikit-learn、pytorch、loss-function、cross-entropy

查看Sklearn中的日志丢失文档和Pytorch中的BCEloss文档，它们应该是相同的，即只是应用权重的正常日志丢失。然而，它们的行为不同--无论是施加还是不施加重量。有人能给我解释一下吗？

浏览 1提问于2019-05-01得票数 1

回答已采纳

2回答

Tensorflow's tf.keras.layers.Dense和PyTorch's torch.nn.Linear的区别？

tensorflow、pytorch

在PyTorch中，线性(或稠密)层定义为，y=x^T+b，其中A和b是线性层的权重矩阵和偏置向量(见)。提前谢谢你！

浏览 3提问于2021-03-14得票数 11

回答已采纳

7回答

PyTorch中的L1/L2正则化

python、pytorch、loss-function、regularized

如何在不需要手工计算的情况下在PyTorch中添加L1/L2正则化？

浏览 10提问于2017-03-09得票数 93

回答已采纳

4回答

在LSTM中“截断梯度”是什么意思？

tensorflow、recurrent-neural-network、lstm

我正在学习关于LSTM：的tensorflow教程。

浏览 9提问于2016-08-01得票数 4

回答已采纳

3回答

异步训练如何在分布式Tensorflow中工作？

python、asynchronous、tensorflow、neural-network、distributed

据我所知，如果我们使用具有数据并行结构的参数服务器，这意味着每个工作人员计算梯度并更新自己的权重，而不关心其他工作人员对分布式训练神经网络的更新。由于所有权重都是在参数服务器( ps )上共享的，我认为ps仍然必须以某种方式协调(或聚合)所有工作人员的权重更新。我想知道在异步培训中聚合是如何工作的。

浏览 3提问于2017-03-31得票数 27

回答已采纳

1回答