softmax的输出使得二进制交叉熵的输出NAN，我该怎么办？

文章/答案/技术大牛

发布

1回答

python、tensorflow、conv-neural-network、softmax、cross-entropy

我在Tensorflow中实现了一个神经网络，其中最后一层是卷积层，我将此卷积层的输出馈送到softmax激活函数，然后将其馈送到交叉熵损失函数，该函数的定义如下所示，但问题是我将NAN作为损失函数的输出，我发现这是因为softmax的输出中有1。所以，我的问题是在这种情况下

浏览 20提问于2019-06-21得票数 2

回答已采纳

1回答

为什么使用sigmoid“激活函数”的多标签分类的准确性比使用"softmax“要高得多？

machine-learning、deep-learning、classification、nlp

我使用Bi分类器进行多标签文本分类，这意味着11个类的数据集中有超过一个标签的实例。当我使用乙状结肠激活函数和"binary_crossentropy“损失函数时，比使用"categorical_crossentropy”损失函数的"softmax“激活函数具有更高的精度。为什么？

浏览 0提问于2022-02-14得票数 0

1回答

tensorflow softmax_cross_entropy码

tensorflow、softmax、cross-entropy

由于tf.nn.softmax_cross_entropy_with_logits在gen_nn_ops中的源代码是隐藏的，有人能解释一下tensorflow是如何在Softmax之后计算交叉熵的吗？我的意思是，在softmax之后，由于精度的原因，它可能会输出0，从而产生一个具有交叉熵的NaN问题。当

浏览 4提问于2017-10-19得票数 1

回答已采纳

1回答

角点中像素级二进制分类的最佳损失函数

machine-learning、deep-learning、keras

我建立了一个深度学习模型，它接受尺寸为250*250*3的图像，并输出62500(250*250)二进制向量，其中包含以0为单位的像素，以表示背景的像素和以像素表示ROI的1s。我的模型是基于DenseNet121的，但是当我在最后一层使用softmax作为激活函数和分类交叉熵损失函数时，损失是nan。什么是我可以在我<

浏览 7提问于2017-10-27得票数 5

回答已采纳

1回答

我们可以对一个热编码标签使用sigmoid激活函数和二进制_crossentropy吗

python、deep-learning、conv-neural-network、loss-function

我正在处理图像数据集，其中我有一个热编码标签。标签向量的形状为(3500,8)。当我在输出层尝试分类交叉熵和softmax函数时，我的准确率很低。但是当我使用二进制交叉熵和sigmoid时，我的准确率提高了。以前，我认为对于多类分类，我们应该使用softmax和分类交叉熵。

浏览 0提问于2019-12-13得票数 0

1回答

神经学习的准确性成为NaN* (tensorflow)*

python、tensorflow

我用tensorflow来给灰度图像着色。因此，我使用sigmoid_cross_entropy_with_logits()，并使用tf.train.AdadeltaOptimizer()将其最小化。我训练它并打印但是经过几次迭代，它给了我nanstep 1, acc82377.69step 4, acc 16694.72 step 5, acc

浏览 0提问于2018-03-26得票数 1

回答已采纳

1回答

为什么我的神经网络只预测一个类别(二进制分类)？

python、tensorflow、keras、neural-network

我的安出了点问题。它只预测了‘0’。数据集是不平衡的(10:1)，尽管我对训练数据集进行了欠采样，因此我不确定发生了什么。我在平衡训练集上获得了92-93%的准确率，尽管在测试(在不平衡的测试集上)它只能预测零。不知道下一步该怎么走。任何事都有帮助。数据已经过热编码和缩放。

浏览 141提问于2019-07-02得票数 0

回答已采纳

3回答

Tensorflow中来自sparse_softmax_cross_entropy_with_logits的NaN

python、tensorflow

当我尝试使用tensorflow中的sparse_softmax_cross_entropy_with_logits损失函数时，我得到了NaN。我有一个简单的网络，类似于：layer = tf.nn.relu(tf.matmul(layer, W2)+ b2)loss = tf.sparse_softmax</e

浏览 0提问于2016-09-20得票数 7

回答已采纳

1回答

二元交叉熵损失

neural-network、loss-function、optimization

当我们有一个二进制分类问题时，我们在输出layer+中使用一个sigmoid激活函数--二进制交叉熵损失。我们还需要一个热点编码的目标variable.This S，一个二进制分类问题，意味着我们可以有一些样本与y_pred=0。正如我们所知道的，二元交叉熵损失的数量是log(y_pred)，这意味着对于属于0类的样本，我们可以有log(0)。但是，log(0)是未定义的<

浏览 0提问于2022-10-25得票数 0

1回答

我得到了零验证的准确性

python、tensorflow、keras、lstm、recurrent-neural-network

在我的LSTM模型上，我得到了零验证精度。由于我的模型是一个多对一个模型，我使用的是一个单位在最后的密集层。但是，它给了我这样的准确性。536/536 ============================== - 6s 8ms/步进损失: nan准确性: 0.0000e+00 - val_loss: nan - val_accuracy: 0.0000e+00 <keras.callba

浏览 3提问于2021-10-24得票数 0

1回答

只对两个类使用categorical_crossentropy

keras、deep-learning、neural-network、cross-entropy

计算机视觉和深度学习文献通常说，对于二进制(两类)问题，应该使用binary_crossentropy，对于两个以上的类，应该使用categorical_crossentropy。现在我在想:有什么理由不使用后者来解决两类问题呢？

浏览 2提问于2019-12-06得票数 0

回答已采纳

2回答

交叉熵损失在pytorch中是如何工作的？

deep-learning、pytorch、loss-function、cross-entropy

我正在试验一些pytorch代码。对于交叉熵损失，我发现了一些有趣的结果，我使用了pytorch的二进制交叉熵损失和交叉熵损失。= nn.Softmax(dim=1) ce_loss= nn.CrossEntropyLoss() bce_losstenso

浏览 38提问于2020-10-06得票数 1

2回答

分类熵与二进制交叉熵的区别

python、tensorflow、machine-learning、keras、computer-vision

使用keras，我必须训练一个模型来预测图像属于0类或1类，我对二进制和categorical_cross_entropy感到困惑。我已经找过了，但我还是很困惑。有些人提到，当我们试图预测多个类时，我们只使用范畴交叉熵，为此我们应该使用一个热编码向量。因此，这意味着我们在使用binary_cross_entrpoy进行训练时，不需要任何热编码的矢量标签。有些人建议将one_hot向量表示为或binary_cross_entropy的。我</em

浏览 0提问于2018-10-24得票数 1

回答已采纳

1回答

多类分类中的成本函数是什么？

machine-learning、neural-network、logistic-regression

我很难知道什么是神经网络的损失函数。对于二进制分类问题，它是均方误差，如下面的视频所描述的：还是像这里定义的交叉熵，和为什么？此外，在多重分类的情况下，我认为有类似softmax的东西，但我不知道它是如何工作的。有人能给我解释清楚吗？谢谢！

浏览 1提问于2017-09-08得票数 1

回答已采纳

1回答

如何解释范畴交叉熵的价值？

neural-network、deep-learning、keras、loss-function、pytorch

范畴交叉熵损失通常用于目标在一次热编码的设置中.假设我有一个问题，其中有300个可能的结果，因此我的最终完全连接层将有300个神经元，输出(在softmax之后)是每个类的概率，使得它们的和等于1。我的问题是:如何解释绝对交叉熵损失的价值？有一个明确的交叉<

浏览 0提问于2021-03-02得票数 3

3回答

我们能用二元交叉熵进行多类分类吗？

keras、cnn、loss-function

在此链接中，作者实现了一个分类为15个类的神经网络，并使用二元交叉熵作为损失函数。但是既然它是多类分类，那么使用二进制交叉熵有效吗？还是我们应该用绝对交叉熵代替？

浏览 0提问于2019-09-09得票数 5

1回答

我能用softmax和交叉熵损失将任何二进制分类算法转化为多类算法吗？

machine-learning、multiclass-classification、softmax

在ML算法中，采用Softmax +交叉熵损失进行多类分类，如softmax回归和最后一层神经网络。我想知道这种方法是否能将任何二进制分类算法转化为多类算法？例如, 如果我使用多项式函数进行二值分类，判定步骤是“如果多项式的输出大于0时预测为正，否则预测为负”，那么我可以使用这类多项式\dagger的k个来进行k类分类，每个多项式f_i(X)都有自己的一组待学习的

浏览 0提问于2019-07-30得票数 5

1回答

tf.softmax_cross_entroy_with_logits的输出不归一化？

tensorflow、neural-network、loss-function

我实现了一个简单的cnn网络的图像分类(二进制分类)。我在Python中使用tensorflow。我使用tf.softmax_cross_entropy_with逻辑作为成本函数。我从我的模型的输出层用未规范化的逻辑输入成本函数。函数应该输出规范化概率，还是我错了？在培训我的模型，我

浏览 0提问于2017-06-09得票数 0

回答已采纳

1回答

如果我的输出变量是二进制的，我需要使用one_hot编码吗？

python、machine-learning、tensorflow、one-hot-encoding

我正在开发一个基于他们的MNIST初学者模板的Tensorflow网络。基本上，我尝试实现一个简单的逻辑回归，其中10个连续变量预测二元结果，因此我的输入是0到1之间的10个值，而我的目标变量(代码中的Y_train和Y_test )是1或0。我的主要问题是，无论我运行多少训练集，准确率都没有变化--无论我跑100步还是31240步，准确率都是0

浏览 2提问于2017-08-12得票数 7

回答已采纳

3回答

稀疏分类熵损失在没有标签编码的情况下变为NaN

tensorflow、keras、deep-learning、cross-entropy

我正在构建一个分类器来预测标签-1和1。当我用一个热门编码器对标签进行编码并使用分类交叉熵时，我在学习方面没有任何问题。model1.add(Dense(2, activation='softmax'))当我保留未编码的标签并尝试使用稀疏分类交叉<

浏览 0提问于2020-07-30得票数 0

点击加载更多