适用于CrossEntropyLoss的PyTorch LogSoftmax vs Softmax

文章/答案/技术大牛

发布

1回答

pytorch、cross-entropy

我知道PyTorch的LogSoftmax函数基本上只是一种更稳定的计算Log(Softmax(x))的方法。Softmax允许您将线性层的输出转换为分类概率分布。pytorch documentation表示，CrossEntropyLoss将nn.LogSoftmax()和nn.NLLLoss()组合在一个类中。查看NLLLoss，我仍然在使用2个日志吗?我认为负日志是事件的

浏览 26提问于2020-12-08得票数 9

回答已采纳

1回答

自定义分类器py手电筒，我想添加softmax

python、pytorch

nn.Linear(h4_dim, output_dim),我选择了CrossEntropyLoss在验证和测试中，如何添加Softmax？

浏览 2提问于2022-10-01得票数 -1

回答已采纳

1回答

PyTorch CrossEntropyLoss和Log_SoftMAx + NLLLoss给出了不同的结果

pytorch、loss-function、softmax、cross-entropy

根据PyTorch文档，CrossEntropyLoss()是LogSoftMax()和NLLLoss()函数的组合。但是，调用CrossEntropyLoss()提供了与调用LogSoftMax()和NLLLoss()不同的结果，这从给定代码的输出中可以看出。是什么导致了不同的结果？来自PyTorch的交叉熵:张量(2.3573)来自Manual_PyTorch_NNLoss<

浏览 0提问于2023-04-27得票数 0

回答已采纳

1回答

使用一个热编码和softmax的Pytorch (范畴)交叉熵损失

python、pytorch、one-hot-encoding、cross-entropy

我在寻找一个传递熵损失函数，就像Tensorflow中的CategoricalCrossEntropyLoss。targets = [0, 0, 1]我要计算软件最大值上的(范畴)交叉熵，而不是，而不是，把预测的最大值作为标签不幸的是，我没有找到一个合适的解决方案，因为Pytorch的

浏览 3提问于2020-11-29得票数 1

1回答

如何正确使用交叉熵损失对软件最大值进行分类？

python、deep-learning、pytorch、softmax、cross-entropy

我想训练一个多类别的分类器，用Pytorch。这让我很困惑。我在Pytorch</em

浏览 2提问于2020-12-22得票数 3

回答已采纳

2回答

在LogSoftmax中使用CrossEntropyLoss

python、machine-learning、pytorch

在Pytorch documentation中，CrossEntropyLoss将LogSoftMax和NLLLoss组合在一个类中但是我很好奇；如果我们在我的分类器中同时使用CrossEntropyLoss和LogSoftMax，会发生什么： model_x.fc = nn.Sequential (nn.Linear(num_ftrs, 2048, bias=True), nn.ReLU(),nn.Linear(256 ,128), nn.ReLU(),

浏览 25提问于2020-10-23得票数 1

1回答

像在Keras中一样，得到了火炬中的交叉熵损失

python、tensorflow、keras、pytorch

特别是交叉熵损失似乎返回完全不同的数字。0.11]]) print("PyTorch", nn.CrossEntropyLoss()(t.tensor(y_pred).argsort(dim=-1).float(), t.tensor(y_true).argmax(dim=-1)))``` Keras tf.Tensor(2.

浏览 8提问于2020-06-05得票数 2

回答已采纳

1回答

CNN模型的损失不收敛

machine-learning、deep-learning、computer-vision、pytorch、conv-neural-network

transform=transform) model.to('cuda') criterion = nn.CrossEntropyLoss()

浏览 43提问于2020-04-25得票数 0

3回答

如何利用火炬中的交叉熵损失进行二值预测？

pytorch

在火炬文档中，交叉熵损失是这样说的：这是否意味着对于二进制(0,1)预测，输入必须转换为(N,2)张量，其中第二维等于(1-p)？因此，例如，如果我预测一个类的目标1 (true)为0.75，是否需要将两个值(0.75；0.25)叠加在一起作为输入？

浏览 0提问于2018-08-18得票数 3

1回答

毕道尔CNN不学习

python、pytorch、conv-neural-network

我目前正试图训练一位PyTorch CNN，以便根据核磁共振扫描对精神错乱者和非精神错乱者进行分类。然而，在训练过程中，模型的丢失保持不变，在试图区分3类时，模型的准确性仍停留在.333。对于类似的问题，我曾尝试过答卷者提出的许多建议，但没有一项对我的具体任务有帮助。这些建议包括改变模型中卷积单元的数量，尝试不同的损失函数，在原始数据集上对模型进行培训，然后扩展到更大的、增强的图像集，以及更改诸如学习速率和批处理大小等参数。我在下面附

浏览 6提问于2021-01-11得票数 1

回答已采纳

1回答

如何从PyTorch中的概率计算交叉熵？

deep-learning、pytorch、loss-function、cross-entropy

默认情况下，PyTorch的cross_entropy以logits (来自模型的原始输出)作为输入。我知道CrossEntropyLoss将LogSoftmax ( log (softmax(X)和NLLLoss (负日志似然损失)合并在一个类中。p_i,j表示属于j类的样本i模型所预测的概率。如果我用手计算，结果是：0.43

浏览 2提问于2020-02-11得票数 4

回答已采纳

2回答

如何编写自定义CrossEntropyLoss

neural-network、pytorch、logistic-regression、cross-entropy

我正在Pytorch中学习Logistic回归，为了更好地理解，我定义了一个定制的CrossEntropyLoss，如下所示： exp_x = torch.exp，我将其与Pytorch的nn.CrossEntropyLoss进行了比较，方法是将它应用于FashionMNIST数据，如下所示： criterion = nn.CrossEntropyLoss()CrossEntropyLoss(m

浏览 5提问于2019-10-13得票数 1

回答已采纳

1回答

我应该在交叉熵之前应用softmax吗？

machine-learning、pytorch、cross-entropy

pytorch教程()在CIFAR数据集上训练卷积神经网络。x = F.relu(self.fc2(x)) return x 我通过应用softmax和重新运行来测试这一点，但是准确度下降到了35%左右。这似乎有违直觉。

浏览 1提问于2019-03-06得票数 6

1回答

训练集分布与激活函数/损失函数相关性

machine-learning、loss-function、probability、activation-function

训练集的概率分布如何影响激活函数/损失函数的选择？训练集的概率分布与激活函数/损失函数的选择之间不存在这种相关性。

浏览 0提问于2021-05-18得票数 1

回答已采纳

2回答

pytorch的交叉损失与keras的"categorical_crossentropy“有区别吗？

keras、deep-learning、neural-network、pytorch

我确信我的keras版本的神经网络与pytorch中的非常接近，但在训练过程中，我看到pytorch网络的损失值比keras网络的损失值要低得多。我想知道这是不是因为我没有正确复制keras中的pytorch网络，或者两个框架中的损失计算是不同的。Pytorch损失定义： loss_function = nn.CrossEntropyLoss() optimize

浏览 555提问于2020-04-26得票数 3

回答已采纳

2回答

在CrossEntropyLoss中抑制PyTorch神经网络最大软件的使用

python、neural-network、pytorch、softmax、cross-entropy

我知道当使用nn.Softmax()作为损失函数时，不需要在神经网络的输出层使用nn.CrossEntropyLoss函数。但是我需要这样做，是否有一种方法可以抑制在nn.CrossEntropyLoss中使用softmax，而在神经网络本身的输出层上使用nn.Softmax()呢？动机：我使用shap软件包来分析特性之后的影响，在这里我只能将经过训练的模型作为输入。但是，输出没有任何意义，因为我看的是无界值，而不是

浏览 0提问于2019-09-26得票数 2

回答已采纳

1回答

政策梯度-和自动差异化(Pytorch/Tensorflow)

tensorflow、reinforcement-learning、pytorch、policy-gradients

在政策梯度中，我们有这样的情况：我的理解是，如果在最后一层应用对数交叉熵，梯度将按照上面的公式自动计算吗？

浏览 0提问于2018-11-17得票数 2

1回答

对RNN最大输出层的理解

python、lstm、pytorch、rnn、softmax

=blstm_dim, return_sequences=True, recurrent_dropout=0.1))(model) x,_ = self.blstm(x, (h0, c0)) return F.softmax现在有趣的是，如果我从PyTorch模型中删除softmax (即在

浏览 2提问于2018-11-26得票数 2

回答已采纳

1回答

有火炬的多类分类

pytorch、loss-function、softmax、cross-entropy

我正在微调DenseNet神经网络，这样它就能识别出3个不同的类。因为这是一个多类问题，所以我必须以这样的方式替换分类层：self.densenet121.classifier= nn.Sequential(nn.Linear(kernelCount, 3), nn.Softmax(dim=1))loss = torch.nn.CrossEntropy

浏览 1提问于2020-03-30得票数 1

回答已采纳

1回答

自定义丢失函数nn.CrossEntropyLoss

python、pytorch、loss-function、cross-entropy

num_classes=10).float()*outputs return torch.sum(A-B)loss_func = nn.CrossEntropyLoss我想，因为它们是不同的函数，所以grad_fn是不同<em

浏览 2提问于2021-09-18得票数 1

回答已采纳

点击加载更多