当我使用torch.nn.CrossEntropyLoss时，我必须在def forward中添加softmax吗？

文章/答案/技术大牛

发布

1回答

python、pytorch、softmax

https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html 当我阅读上面的内容时，我了解到torch.nn.CrossEntropy所以我认为转发函数不一定要包含softmax。例如，返回self.fc(x)而不是返回nn.softmax(self.fc(x))。然而，我很困惑，因为我已经看到了几个使用这两种

浏览 190提问于2020-10-25得票数 2

1回答

不需要预测的MSE

deep-learning、pytorch、loss-function、mse

这是一个回归模型，我试图从x值(输入)预测y值(输出)。每个类都被赋予了不同的平均值，并使用l2标准化进行了标准化： x_values = sklearn.preprocessing.normalize(x_values, norm="l2") 这可能看起来像是一个试图使用回归解决的分类问题我试图理解PyTorch中的多类回归，因为PyTorch文档给出了以下示例，表明多类回归是可能的： >>> loss = nn.MSELoss() >>> inp

浏览 16提问于2020-07-23得票数 0

回答已采纳

2回答

在PyTorch中手动更新权重时，渐变为零

python、pytorch

= pytorch_softmax(logits) pytorch_cross_entropy = torch.nn.CrossEntropyLoss(reduction='elementwise_mean= feed_forward(x.float())

浏览 7提问于2018-11-30得票数 1

1回答

RuntimeError:预期标量型浮点数，但发现了双错误的torch.nn.CrossEntropyLoss割炬

python、pytorch、cross-entropy

我正试着训练一个火把模型。损失函数是：来自培训功能的代码片段：(在原始代码中，targets的数据类型已使用torch.tensor(targets, dtype=torch.long, device=device)转换为torch.int64。然而，当我得到错误-

浏览 7提问于2022-02-14得票数 -1

回答已采纳

1回答

在训练过程中，验证的准确性没有提高。

tensorflow、tensorflow2.0

我有一个问题，验证准确性，同时训练超声图像，以分类良性和恶性图像使用转移学习与ResNet50。我在网上找到的大部分代码试图应用到我的培训目标中。我正在使用Tensorflow 2.1并在CNN进行培训。我的代码是： # -*- coding:

浏览 0提问于2020-04-30得票数 0

2回答

如何利用pytorch nn.Transformer进行序列分类？

machine-learning、deep-learning、pytorch、text-classification、transformer-model

我正在使用nn.TransformerEncoder()执行序列分类任务。其管道类似于nn.LSTM()。当使用nn.LSTM和最后一个隐藏状态时，我可以很容易地达到83%的精度。我尝试了大量的超参数的nn.TransformerEncoder()，但没有任何提高的准确性。我现在不知道该怎么调整这个型号。你能给我一些实用的建议吗？谢谢。对于LSTM：forward()是： def forward</e

浏览 15提问于2019-09-25得票数 2

1回答

为什么对激活值(Softmax)的预测会给出错误的结果？

python、tensorflow、machine-learning、neural-network、deep-learning

我使用Tensorflow从头开始实现了一个基本的神经网络，并在MNIST时尚数据集上对其进行了训练。它经过了正确的训练，并输出了超过10个类别的~88-90%测试精度。现在我已经编写了predict()函数，它使用经过训练的权重来预测给定图像的类别。(p, feed_dict={X: images}) 这使用了forward_propagation()函数，该函数返回最后一层(Z)而不是活动(A)的加权和()函数中，<em

浏览 10提问于2019-08-04得票数 2

回答已采纳

1回答

为什么sigmoid的多类分类会失败？

deep-learning、pytorch、loss-function、multiclass-classification、activation-function

使用Sigmoid训练的MNIST失败，而Softmax工作正常我试图调查不同的激活是如何影响最终结果的，所以我用PyTorch实现了一个简单的MNIST网络。我使用NLLLoss (负对数似然)，因为它在与softmax一起使用时实现了交叉熵损失。当我将softmax作为最后一层的激活时，它工作得很好。但当我使用sigmoid时，我注意到事

浏览 34提问于2019-04-02得票数 1

回答已采纳

2回答

为什么斯科尔奇在每一个时代都要展示南？

python、scikit-learn、pytorch、skorch

我希望基于Skorch的dataset类创建自己的Dataset类，因为我想区分分类列和连续列。这些分类列将通过模型中的嵌入层传递。0.1719 5 nan nan 0.1406from skorch import NeuralNetRegressor from skorch.datase

浏览 0提问于2018-11-20得票数 3

回答已采纳

1回答

Pytorch中的L1正则化神经网络不产生稀疏解

neural-network、pytorch

我正在用pytorch实现一个带有l1正则化的神经网络。我直接将l1范数惩罚加到损失函数中。我的代码粘贴在下面。forward(self, x: torch.Tensor) -> torch.Tensor: forward propagation process, required1) output = model(inp

浏览 38提问于2020-01-28得票数 0

回答已采纳

3回答

numpy :计算softmax函数的导数

python、numpy、neural-network、backpropagation、softmax

我正在尝试用MNIST在一个简单的3层神经网络中理解backpropagation。有几个在线资源对softmax及其衍生产品进行了解释，甚至给出了softmax本身的代码示例 ""这是我想出来的一个简单的代码片

浏览 1提问于2016-11-14得票数 16

回答已采纳

3回答

AttributeError：'str‘对象在pytorch中没有'dim’属性

python、python-3.x、tensorflow、machine-learning、bert-language-model

在将模型预测发送到模型中时，我在PyTorch中得到了以下错误输出。有人知道这是怎么回事吗？

浏览 0提问于2020-12-01得票数 5

1回答

Pytorch神经网络错误

machine-learning、neural-network、pytorch

我正在尝试使用Pytorch计算某个机器学习模型的损失和准确性，但在初始化数据集以使其可以运行时遇到了问题。使用月球数据集时，我在运行代码时会遇到一些错误。x, y = Variable (torch.from_numpy(X_train)).float(), Variable(torch.from_numpy(y_train)).float() def __init__(self): super(So

浏览 0提问于2020-11-29得票数 0

3回答

softmax函数对高输入返回nan的实现

python、softmax

我正试图在cnn的末尾实现softmax，我得到的输出是nan和0。我在10-20k左右给softmax提供高输入值，我给出了一个X=[2345,3456,6543,-6789,-9234]数组def softmax (X): C=np.sum(np.exp(X))我得到了true divide and run

浏览 12提问于2019-02-26得票数 7

回答已采纳

1回答

如何在AllenNLP中使用正则化？

deep-learning、nlp、allennlp

我试图使用Allennlp作为我的NLP任务，并希望使用正则化，以减少过度拟合。然而，从所有的在线教程中，所有的正则化程序都被设置为无，而且经过多次尝试，我仍然无法找到如何使用正则化器。如果我使用官方教程(https://github.com/titipata/allennlp-tutorial)中的示例，如果我想为LSTM和前馈层添加正则化

浏览 0提问于2020-03-13得票数 1

1回答

图神经网络在PyTorch几何中的问题

pytorch、pytorch-geometric

我正在尝试理解在PyTorch中实现的以下GNN模型的错误之处 class Net(torch.nn.Module): super().def forward(): return F.log_softmax(x, dim=1)但是当我尝试运行训练循环时，我得到了以

浏览 37提问于2021-10-07得票数 0

1回答

Pytorch中多输出模型的损失

machine-learning、deep-learning、pytorch

我在PyTorch中有一个多输出模型，当我使用相同的损失训练它们，然后反向传播时，我合并了两个输出的损失，但当一个输出损失减少时，其他输出损失增加，以此类推。我如何解决这个问题？def forward(self, x): x = dense1(x) x1 = F.log_<em

浏览 21提问于2019-07-02得票数 3

2回答

需要帮助理解tf.contrib.layers.fully_connected训练权重

tensorflow

用简单的术语来说，我认为我可以用一些精简的语句来传达正在发生的事情： .... ....return parameters # python dict 然后，在第二tf会话中，使用来自第一tf会话的训练参数进行预测。当我运行

浏览 23提问于2019-08-05得票数 0

1回答

如何从检查点文件中加载一个调整好的pytorch模型？

python、machine-learning、pytorch、google-colaboratory、huggingface-transformers

我在Py手电中微调了一个伯特模型，并通过torch.save(model.state_dict(), 'model.pt')保存了它的检查点。现在，当我想重新加载模型时，我必须再次解释整个网络，重新加载权重，然后推送到设备上。下面是培训代码，您可以尝试运行在colab本身！培训完成后，您将注意到在文件系统中我们有一个检查点文件。但我想拯救

浏览 9提问于2022-03-21得票数 1

回答已采纳

2回答

如何创建一个层来反转softmax* (TensforFlow，python)？*

python、tensorflow、deep-learning、softmax、deconvolution

我正在建立一个反卷积网络。我想添加一个与softmax相反的层。我尝试编写一个基本的python函数，该函数返回给定矩阵的softmax的逆，并将其放入tensorflow Lambda中，然后将其添加到我的模型中。我没有错误，但当我做预测时，我在出口处只有0。当我没有将这一层添加到我的网络中时，我</

浏览 82提问于2020-11-03得票数 1

回答已采纳

点击加载更多