CNN算法预测值为1.0，因此交叉熵成本函数会给出被零除的警告
CNN算法是卷积神经网络（Convolutional Neural Network）的缩写，是一种常用于图像处理和计算机视觉任务的深度学习算法。
预测值为1.0意味着CNN算法对于某个样本的分类结果非常确信，即它预测该样本属于某个特定的类别的概率非常高。
交叉熵成本函数（Cross Entropy Cost Function）是用于衡量预测值与实际值之间的差异程度的一种损失函数。它常用于分类问题中，通过计算预测值与实际值的差异来衡量模型的性能，进而优化模型的参数。
在交叉熵成本函数中，被零除的警告通常是由于预测值为1.0时，算法将该样本归为某个类别的概率为1.0，而实际上该样本却不属于该类别，导致计算交叉熵时出现分母为零的情况。这通常是由于模型的训练过程中出现了问题，例如训练数据中存在标注错误或样本不平衡等。
解决这个问题的方法可以是：
- 检查数据集中的标注是否正确，确保训练数据的标签与实际情况相符。
- 检查模型是否过拟合，如果模型在训练数据上表现非常好但在测试数据上表现不佳，可能需要调整模型的复杂度或增加正则化项。
- 尝试使用其他的损失函数替代交叉熵成本函数，例如平方误差损失函数。
腾讯云相关产品和产品介绍链接地址：
相关·内容
我实现了一个简单的cnn网络的图像分类(二进制分类)。我在Python中使用tensorflow。我使用tf.softmax_cross_entropy_with逻辑作为成本函数。我从我的模型的输出层用未规范化的逻辑输入成本函数。函数应该输出规范化概率，还是我错了？
在培训我的模型，我是印刷成本的每一个例子。如果模型正确地预测了输出，则成本等于0.0，否则成本非常大，非规范化值)。在计算交叉熵前输入函数'softmaxes‘时，为什么输出是不归一化的？
浏览 0提问于2017-06-09得票数 0
回答已采纳
场景:我一直在为cifar10数据集训练CNN。我使用的是tensorflow，还有一个CNN，它有12个conv层和1个密集层，在softmax稠密层之前。我正在使用数据增强以及批处理规范化。
在几百个历次之后，我对验证集的准确率最高达到92.73 %。
我的问题是：
验证损失略有上升，因为我训练更多。
当验证损失增加时，验证的准确性也会上升。
示例：
一个时代给了我0.295的损失，验证的准确率为90.5%。我的最佳验证时间精度为92.73%，验证损失为0.33。
问题：
为什么我的验证精度提高，而我的验证损失却在上升？
我应该使用与cross_entropy不同的损失度量吗？
浏览 0提问于2020-01-23得票数 3
回答已采纳
我正在训练一个由一个CNN和三个GRUs组成的图像字幕的深层网络。训练过程中，模型损失(绝对交叉熵)降低，但当我测量bleu、METEOR、ROUGE、CIDEr和SPICE分数时，损失最大的时期是第一个损失最大的时期。我不明白为什么会发生这种事？如果绝对交叉熵不是自动编码器合适的损失函数，那么我应该使用什么呢？
浏览 0提问于2019-06-11得票数 3
6回答
在最小二乘模型中，成本函数被定义为预测值与实际值之差的平方，作为输入的函数。
当我们进行逻辑回归时，我们将成本函数更改为对数函数，而不是将其定义为sigmoid函数(输出值)与实际输出之间的差值的平方。
是否可以更改和定义我们自己的成本函数来确定参数？
浏览 2提问于2012-08-28得票数 22
回答已采纳
1回答
我们知道优化技术，在所有可能的参数空间中搜索一个参数集，使模型的成本函数最小化。在理想情况下，最著名的损失函数，如MSE或范畴交叉熵，其全局最小值等于零。
例如，梯度下降( \theta_j \leftarrow \theta_j - \alpha \frac{\partial}{\partial \theta_j}J(\theta) )基于计算成本函数值J(\theta)的推导来更新参数。
我在想，如果我们设计一个在理想情况下具有非零全局最小值的成本函数，会发生什么。它对收敛速度或优化过程的其他方面是否有影响？
浏览 0提问于2018-11-06得票数 0
回答已采纳
我正在阅读这个帖子，在这里我看到了这句话：“交叉熵是用于二进制分类问题的默认损失函数。”
但是它如何使它成为二进制分类的默认且可能最好的损失函数呢？
浏览 0提问于2019-06-07得票数 7
我在Tensorflow中发现了一种罕见的情况，但我试图用Tensorflow中的KL散度(交叉熵)作为代价函数来训练一个分类器(线性或非线性)，它带有软目标/标签(构成有效概率分布的标签，但不是“硬”1或0)。
然而，很明显(告诉尾巴的迹象)，某些事情肯定是不对的。我尝试了线性和非线性(稠密神经网络)形式，但无论我总是得到相同的最终值，我的损失函数，无论网络结构(即使我只训练一个偏差)。此外，成本函数使用L(一个非常可靠的优化器！)非常快地收敛(在20-30次迭代范围内)。另一个迹象是，有些事情是错误的，我不能过适应数据，而且验证集的损失值似乎与训练集完全相同。然而，奇怪的是，当我增加网络体
浏览 1提问于2018-05-20得票数 0
1回答
我已经看到了和Andrew的神经网络成本函数，并且我注意到，Andrew的成本函数与神经网络的书籍不同。安德鲁·吴使用J(Θ)=−(1/m)∑∑y *log((hΘ(X)+(1−y)*log(1−(hΘ(X)，而本书使用均方误差。
每个错误公式的优缺点是什么？
浏览 3提问于2020-01-21得票数 1
回答已采纳
1回答
我有一个高度不平衡的3D数据集，其中大约80%的体积是背景数据，我只对前景元素感兴趣，这些元素在随机位置上占总体积的20%左右。这些位置被记录在给网络的标签张量中。目标张量是二进制的，其中0表示背景，1表示我们感兴趣或想要分割的区域。
每个卷的大小为[30,512,1024]。我使用[30,64,64]大小的块迭代每个卷。因此，我的大多数块在目标张量中只有0值。
我读到DiceLoss很好地解决了这类问题，并成功地用于分割3DMRI扫描。这里有一个简单的实现：
def dice_loss(input, target):
smooth = 1.
iflat = input.vi
浏览 2提问于2018-12-11得票数 1
2回答
我想问一个相当简单的问题。我有很深的纯数学背景，所以我对成本函数的数学没有太大的理解困难，但我只想澄清在实际的神经网络中成本函数到底是什么(即在实际数据集上实现它)。
给定一个固定的训练样本，我们可以将成本函数看作权值和偏差的函数，从而优化该函数就是求出该函数的最小值。
在实践中，当你有数千个培训样本时，成本函数是什么？是否所有训练例子的成本函数之和？
浏览 0提问于2022-03-02得票数 0
1回答
Gans中发电机的损耗函数
、、、、
我已经深入地研究过甘斯，也在用火把来实现它，现在我正在研究甘斯背后的核心统计数据，当我看网站时，它说。
损失(G)=-损耗(D)，请注意，我们将发电机成本定义为判别器成本的负值。这是因为我们没有明确的方法来评估发电机的成本。
但在实施gan时，我们将发电机的损耗定义为：
生成器和实标签产生的图像的鉴别器输出之间的by交叉熵损失，如原始文件和下面的代码(由我实现和测试)
# train generator
z_ = to.randn(minibatch,100 ).view(-1, 100, 1, 1)
z_ = Variable(z_.cuda())
浏览 0提问于2018-07-12得票数 2
回答已采纳
2回答
我是CNN和Tensorflow的初学者。
我看到了许多用于分类的卷积神经网络(CNN)的例子。然而，我需要CNN进行回归。我试图在Tensorflow中用自己的数据来实现CNN的预测。
我可以实现CNN的预测还是CNN仅用于分类？
你能给我做CNN预测的任何文件或线索吗？
浏览 8提问于2016-12-06得票数 1
回答已采纳
我正在研究Keras中的一个多标签问题，使用双叉熵损失函数和sigmoid激活。假设我有4个类，所以响应可能如下所示：
[1, 0, 0, 1]
尽管绝大多数的回应实际上都是零的
[0, 0, 0, 0]
数据在不同的类之间也是非常不平衡的，如果我对y做了一个求和，那么每个类中的正数的总数将会是这样的。
[2000, 500, 1000, 250]
因此，为了对每个类都给予同等的权重，我认为我应该构造一本字典，如下所示
weights = {0: 2.5, 1: 10., 2: 5., 3: 20}
并将其传递给Keras中的class_weight参数。
不过，我的问题是：
如果我的响应变量
浏览 0提问于2018-10-24得票数 8
1回答
我知道在两类情况下，二元交叉熵和范畴交叉熵是一样的。
而且，对我来说很清楚什么是softmax。
因此，我看到绝对交叉熵只是惩罚应该是1的一个分量(概率)。
但是为什么，不能或者不应该在一个热向量上使用二进制交叉熵？
Normal Case for 1-Label-Multiclass-Mutual-exclusivity-classification:
################
pred = [0.1 0.3 0.2 0.4]
label (one hot) = [0 1 0 0]
costfunction: categorical crossent
浏览 6提问于2017-05-23得票数 5
1回答
tflearn DNN给出零损失
、、、、
我正在使用pandas提取我的data。为了了解我的data，我复制了一个示例数据集..。
data = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
生成shape=(100,4)的数据集..。
A B C D
0 75 38 81 58
1 36 92 80 79
2 22 40 19 3
... ...
我正在使用tflearn，所以我也需要一个目标标签。因此，我从data中提取了一个列，然后将其从data变量中删
浏览 1提问于2017-11-11得票数 1
回答已采纳
我正在研究一个多类图像识别问题。任务是有正确的答案是在前3输出概率。所以我在想，也许存在一个聪明的成本函数，它将正确的答案排列在最上面的K中，而在这些顶级K之间并没有受到多大的惩罚。
浏览 1提问于2018-02-08得票数 1
回答已采纳
问题在于训练CNN的数据集包含0到1000之间数字的(n，n)形状矩阵的输入。输出应该表示相同的(n，n)形状矩阵，其0值与1到1000之间的其他值相匹配。(类似于去噪图像)
Example:
Input: Output:
135 0 283 4 135 75 283 4
25 38 43 0 25 38 43 815
0 99 820 481 533 99 820 481
728 331 3 28 728 331 3 28
通过优化外部成本函数的遗传算法，通过运行输入来生成输出。(这个函数非常复杂，
浏览 2提问于2019-11-09得票数 1
回答已采纳
我的代码是这样的，我做了所有的事情来查找错误，但它不能工作
导入cv2导入火炬导入torch.nn作为nn导入torchvision.transforms as转换导入torchvision导入torchvision.datasets作为数据集从torch.autograd导入变量从PIL导入matplotlib.pyplot作为plt导入图像导入torchvision.datasets作为np
#Transformation for image
transform_ori = transforms.Compose([transforms.RandomResizedCrop(64), #c
浏览 0提问于2021-02-21得票数 0
2回答
我正在实现一个CNN图像分类模型，在那里我正在学习损失函数。有几种类型的损失函数来确定错误。然而，如何找出哪个函数适合于图像的多分类模型呢？
浏览 0提问于2019-08-24得票数 5
2回答
我正在训练CNN多类图像分类为4幅图像，我应该使用什么样的精度度量从Keras。我的标签不是一个热编码，因为我试图预测不同图像的概率。
浏览 0提问于2023-05-13得票数 0
回答已采纳
1回答
我用这个：
Python version: 3.7.7 (default, May 6 2020, 11:45:54) [MSC v.1916 64 bit (AMD64)]
TensorFlow version: 2.1.0
Eager execution: True
使用这个U-Net模型：
inputs = Input(shape=img_shape)
conv1 = Conv2D(64, (5, 5), activation='relu', padding='same', data_format="channels_last"
浏览 1提问于2020-07-07得票数 0
回答已采纳
1回答
我正在训练卷积神经网络(CNN)，在MNIST上进行X次迭代后，我的训练和验证精度明显下降：
X似乎取决于学习速度。修改辍学率似乎对这一现象没有任何影响。我用较低的报告(每100批报告一次)进行测试，并注意到下降的速度非常快。精度在下降后不会恢复。
training_accuracy / validation_accuracy => 1.0000 / 1.0000 for step 10000
training_accuracy / validation_accuracy => 0.9833 / 1.0000 for step 20000
training_accuracy
浏览 10提问于2017-06-10得票数 0
回答已采纳
我正在开发一个简单的cnn分类器，它使用带有tensorflow背景的keras。
def cnnKeras(training_data, training_labels, test_data, test_labels, n_dim):
print("Initiating CNN")
seed = 8
numpy.random.seed(seed)
model = Sequential()
model.add(Convolution2D(64, 1, 1, init='glorot_uniform',
border_mode='
浏览 0提问于2017-05-24得票数 49
回答已采纳
库: Keras，后端:Tensorflow
我正在训练一个单类/二进制分类问题，其中我的最后一层只有一个节点，激活了sigmoid类型。我正在用二元交叉熵损失来编译我的模型。当我运行代码来训练我的模型时，我注意到损失大于1。这是对的，还是我哪里出错了？我查过标签了。他们都是0和1。
二元交叉熵损失是否可能大于1？
浏览 1提问于2018-04-17得票数 5
回答已采纳
我是CNN的新手，并试图研究一些MATLAB示例代码(因为我需要知道内部计算)。我最近意识到，我使用的示例代码在反向传播中不会将误差乘以sigmoid的导数。前馈过程有sigmoid作为最后一层的激活函数，因此根据我的理解，反向传播误差=(输出-目标)*sigmoid的导数(输出)。但是，作者故意用以下代码禁用了这一乘法：
if cnn.loss_func == 'cros'
if cnn.layers{cnn.no_of_layers}.act_func == 'soft'
cnn.CalcLastLayerActDerivative
浏览 0提问于2019-03-24得票数 3
我刚刚读过这个，它解释了二元交叉熵和分类交叉熵之间的区别，特别是，我对这张图片有一个疑问：
作者讨论了一个多标签的情况，你的目标(或地面真相)标签是一个热编码，但如果你的目标标签不是一个热编码，你会使用什么损失功能？例如，如果只有一半的熊猫在图像中，然后我将图像标记为1，0，0.5，那么在这种情况下，我还会使用二进制交叉熵吗？在目标向量不是二进制的情况下，数学是如何计算的？
浏览 4提问于2020-08-05得票数 1
我是坦索弗洛的新手
在tensorflow会话代码的一部分中，有：
loss = tf.nn.softmax_cross_entropy_with_logits_v2(
logits=net, labels=self.out_placeholder, name='cross_entropy')
self.loss = tf.reduce_mean(loss, name='mean_squared_error')
为此，我想使用mean_squared_error损失函数。我在tensorf
浏览 0提问于2018-11-24得票数 2
回答已采纳
标准监督分类设置:我们有一堆样本，每个样本都带有正确的N标签。我们建立N个输出的神经网络，用softmax将其转化为概率，损失是每个NN输出和相应的真标号之间的平均cross-entropy，表示为真标号中带有1的1-hot向量和其他0。然后，我们按照它的梯度来优化这个损失。分类误差只是用来测量我们的模型质量。
但是，我知道在执行policy gradient时我们可以使用，我们不再需要使用cross-entropy！我们的损失只是tf.gather与正确标签对应的NN输出。例如。
为什么我们不能在进行监督学习时使用同样的技巧呢？我在想，我们使用cross-entropy的原因是因为它是可微的
浏览 3提问于2017-08-19得票数 1
回答已采纳
1回答
在当前用于二元Logistic回归的科学知识学习文档中，存在以下成本函数的最小化：
\min_{w, c} \frac{1}{2}w^T w + C \sum_{i=1}^n \log(\exp(- y_i (X_i^T w + c)) + 1)
问题：
c术语是什么？这一点在文件中没有解释。
当使用LogisticRegression(multiclass=multinomial)时，成本函数最小化是什么？
浏览 0提问于2021-02-04得票数 0
回答已采纳
我最近注意到，我可以拥有并使用Tensorflow模型，该模型具有任意数量的输出，即使预测值只是一个真实值。例如，我可以有16个输出的模型，只有一个真正的目标值，然而，模型仍然没有错误的正常训练。
我的问题是，在比较输出和目标值时，Tensorflow如何处理输出的不正确大小。怎样才能计算损失呢？它是试图使每个输出尽可能接近目标值，还是做某种平均？
浏览 7提问于2021-12-16得票数 1
这两行实际上是点，但是当我运行lineIntersects方法时，我得到了作为返回值的"true“，有人知道发生了什么或者这是一个bug吗？这里是，这里是，对于可能失败的特殊情况，两者都没有发出警告。
import java.awt.geom.*;
public class Test {
public static void main(String[] args) {
// x1, y1, x2, y2
Line2D l1 = new Line2D.Double( 1.0, 1.0, 1.0, 1.0
浏览 2提问于2016-06-21得票数 2
回答已采纳
我试着训练CNN把文章按主题分类。当我使用二进制交叉熵时，我得到了~80%的精度，而在分类交叉熵的情况下，我得到了~50%的精度。
我不明白这是为什么。这是一个多类问题，这不意味着我必须使用范畴交叉熵，并且二元交叉熵的结果是没有意义的吗？
model.add(embedding_layer)
model.add(Dropout(0.25))
# convolution layers
model.add(Conv1D(nb_filter=32,
filter_length=4,
border_mode='va
浏览 17提问于2017-02-07得票数 212
回答已采纳
1回答
我给一个网络提供了一个带有峰值的XY信号。我能产生10,000个样本信号。每个信号都有随机数目的峰值。每次发出信号时，我都会在解决方案数组中保存峰值的#。目标是训练网络根据信号数据找到峰值的#。因此，该网络的输入和输出是：
10,000Y_Train：X_Train: 2 x 100 x1 x 10,000 x 1
但是，这会导致以下错误：
ValueError:数据基数是模棱两可的:X尺寸:2y大小:1确保所有数组都包含相同数量的样本。
这是我的密码。
Data = DataMaker(100000,ScanSize,1)
Data.MakeLotsPks(10000)
Dims = D
浏览 4提问于2021-07-20得票数 0
1回答
假设我们有3类图像训练:1.猫，2.狗，3.不是猫也不是狗。我们只关心一张图像是否是猫/狗，或者两者都不是，但我们不在乎它是猫还是狗，只是这两者之一。
把狗和猫类合并成一个单一的“正面”类，而不是训练三级CNN，这本身就“更好”吗？
如果是的话，那麽，如果我们真的关心图像是狗还是猫，最好先运行二进制分类器来判断它是否狗/猫，然后再运行第二个二进制分类器，只训练猫和狗来决定它实际上是哪一个？
浏览 0提问于2017-11-07得票数 4
1回答
我的安出了点问题。它只预测了‘0’。数据集是不平衡的(10:1)，尽管我对训练数据集进行了欠采样，因此我不确定发生了什么。我在平衡训练集上获得了92-93%的准确率，尽管在测试(在不平衡的测试集上)它只能预测零。不知道下一步该怎么走。任何事都有帮助。数据已经过热编码和缩放。 #create 80/20 train-test split
train, test = train_test_split(selection, test_size=0.2)
# Class count
count_class_0, count_class_1 = train.AUDITED_FLAG.value_co
浏览 141提问于2019-07-02得票数 0
回答已采纳
1回答
带有Keras的CNN模型精度差
、、、、
我需要建议。当只使用CIFAR10数据集的子集(仅使用10000个数据，每个类使用1000个数据)时，我在用Keras构建CNN模型时得到了非常差的结果(10%的准确率)。怎样才能提高准确度？我试图改变/增加时代，但结果还是一样的。这是我的CNN架构：
cnn = models.Sequential()
cnn.add(layers.Conv2D(25, (3, 3), input_shape=(32, 32, 3)))
cnn.add(layers.MaxPooling2D((2, 2)))
cnn.add(layers.Activation('relu'))
cnn.add
浏览 0提问于2020-10-25得票数 1
回答已采纳
1回答
我使用了下面的MNIST示例：
我读到了训练和验证方面的损失。我知道验证损失表示验证图像集在经过训练的网络中运行后的错误，但是这个数字的单位是什么？那么这个数字的确切含义是什么呢？
感谢您的帮助！
浏览 0提问于2017-10-24得票数 1
我使用Bi分类器进行多标签文本分类，这意味着11个类的数据集中有超过一个标签的实例。当我使用乙状结肠激活函数和"binary_crossentropy“损失函数时，比使用"categorical_crossentropy”损失函数的"softmax“激活函数具有更高的精度。为什么？
浏览 0提问于2022-02-14得票数 0
1回答
我正在为文本摘要和CNN数据集的文本摘要和CNN数据集提供如下结构的编码器-解码器LSTM的培训。
我正在预训练单词嵌入(大小为256)，使用跳过-克和
然后，我用零填充输入序列，使所有的项目都具有相同的长度。
我在每个摘要中加入了一个1的向量，作为“开始”的标记。
使用MSE，RMSProp，tanh激活后在解码器输出。
培训:20个时代，batch_size=100，clip_norm=1，dropout=0.3，hidden_units=256，LR=0.001，培训examples=10000，validation_split=0.2
网络训练、训练和验证MS
浏览 1提问于2018-04-18得票数 3
我的工作是用于分类任务的混合CNN-SVM，我的目标是使用CNN进行特征提取和SVM进行分类。因此，在对我的CNN模型进行了如下培训之后：
import os
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf
import keras
from keras.layers import Dense, Conv2D, InputLayer, Flatten, MaxPool2D
(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.l
浏览 0提问于2022-01-29得票数 2
2回答
我正在训练一个神经网络(任意架构)，我有一个标签空间，它不是一个热编码的，而是连续的。原因是对于给定的问题，不可能只分配一个类，它更多的是一个概率映射。所以最后，我的目标又归结为1，但它们并不是1-热。
我想知道我是否误解了Keras文档，但就我所读到的内容而言，没有交叉熵实现。有分类和sparse_categorical (它们似乎完全相同，但只期望有不同的标签格式)。我的想法是将每个目标索引封装成二进制交叉熵，但这感觉不对，我认为有一个更好的解决方案。你能帮我找到合适的CE损失吗？
浏览 0提问于2020-03-17得票数 1
回答已采纳
1回答
假设对于单个培训示例，真正的标签是1 0 0 0，而预测是0.1 0.5 0.1 0.1 0.2。如何计算其二元交叉熵？以及输出值如何决定一个样本是属于a类还是b类？我也想知道，在二元交叉熵公式中，什么是1-p？
浏览 0提问于2018-09-30得票数 1
2回答
我很确定这是一个愚蠢的问题，但我在其他地方找不到它，所以我将在这里问它。
我正在使用7个标签的keras中的cnn (unet)进行语义图像分割。所以我对每个图像的标签是(7，n_rows，n_cols)，使用theano后端。因此，对于每个像素，它是一个热编码的7层。在这种情况下，使用分类交叉熵的错误函数是否正确？对我来说似乎是这样，但网络似乎在二进制交叉熵损失的情况下学习得更好。有人能解释一下为什么会这样吗?原则性的目标是什么？
浏览 15提问于2017-02-09得票数 16
回答已采纳
1回答
我要用哪种损失的交叉熵？
、、、、
我正在使用这个数据集https://www.kaggle.com/c/sf-crime来预测犯罪事件。我用pd.get_dummies对这个类别进行了编码，然后使用它作为验证数据。首先，我尝试使用categorical_crossentropy和adam作为损失函数，但是结果返回非常糟糕的acc，大约是损失的0.3 %和2.7 %。所以我试着用binary_crossentropy来实验不同的熵。结果似乎是夸大的，acc大于0.97，一次损耗小于0.1。我还为每一层提供了0.3的下拉列表。那么，在这种情况下，哪种交叉熵是准确的还是更好的?这类分类是多标签的还是多类的？
浏览 0提问于2018-04-24得票数 3
回答已采纳
1回答
对于分类问题陈述，我应该使用哪一种评估标准？我应该决定什么因素? 1. 准确性 2. F1评分 3. AUC ROC评分 4. 日志丢失
浏览 3提问于2020-01-11得票数 0
1回答
我正试图用Keras开发一个CRNN。但是当训练网络时，我的损失在大约两次迭代后保持不变，而且非常低！这不可能是对的，但我不知道我的错误，所以我想向你们展示我的模型和我的训练，希望你们能帮助我解决这个问题。
，这就是奇怪的损失：
1. Iteration:
Train: Loss: 4.596062183380127 accuracy: 0.34375
2. Iteration:
Train: Loss: 1.1920930376163597e-07 accuracy: 0.453125
3. Iteration:
Train: Loss: 1.19209303761635
浏览 2提问于2018-05-19得票数 0
回答已采纳
4回答
概率回归损失函数
、、、、
我试图用神经网络来预测一个概率，但是很难确定哪一个损失函数是最好的。交叉熵是我的第一个想法，但其他资源总是在标签为\{0, 1\}的二进制分类问题中讨论它，但在我的例子中，我有一个实际的概率作为目标。这些选项中的一种显然是最好的，还是它们在极端0/1区域附近的差别很小，它们都是有效的？
假设x是我的模型的最后一层的输出。
交叉熵：
\text{target} * -\log(\text{sigmoid}(x)) + (1 - \text{target}) * -\log(1 - \text{sigmoid}(x))
使用Sigmoid的均方误差：
(\text{sigmoid}(x)
浏览 0提问于2019-02-09得票数 9
1回答
熵和交叉熵是否与基本定义相同？
如果有不同之处：
决策树分解取熵或基尼指数，可以用交叉熵来分割决策树吗？或者，在运行决策树算法之后，我应该使用它作为评估指标吗？
此外，决策树算法是否假定有任何分布？
如果是，
那么我们如何使用KL发散度呢？
我只是想把几个概念从更广泛的角度联系起来。
以下是我对多类决策树的关注。
浏览 0提问于2020-01-16得票数 2
2回答
I误用二进制交叉熵作为软熵，改为分类交叉熵.并且在我自己的回答中对下面问题的细节做了一些回顾
我正在尝试使用开源数据:sogou_news_csv(按照向张和Yann LeCun的“从零开始理解文本”，使用jieba进行文本分类的拼音转换为拼音)。(主要遵循使用字符级CNN的思想，但本文提出的结构)。
我根据字母表集合使用一个热编码进行预处理，然后用0填充所有不在字母表集合中的字符。结果得到的训练数据为(450000,1000，70)，(data_size，sequence_length，alphabet_size)。
然后，我将数据输入到的cnn结构中。
tried different l
浏览 3提问于2017-11-01得票数 1
回答已采纳
我有下面的交叉熵函数。
cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))
for i in range(max_training_step):
batch = next_batch(i)
if i % FLAGS.beta_resolution == 0:
train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_: batch[1], keep_prob: 1.0})
print("step %d, training accurac
浏览 0提问于2017-03-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
