为什么Binary_Cross熵损失为负值？
Binary_Cross熵是一种常用的损失函数，用于评估二分类问题中模型输出与真实标签之间的差异。Binary_Cross熵损失函数的取值范围是负无穷到0。
在理解为什么Binary_Cross熵损失为负值之前，我们先了解一下Cross熵损失函数的定义和计算方式。
Cross熵损失函数是衡量两个概率分布之间差异的一种度量方式。对于二分类问题，模型输出的概率可以表示为p和1-p，真实标签的概率可以表示为y和1-y。则Cross熵损失函数可以定义为：
L = -ylog(p) - (1-y)log(1-p)
在二分类问题中，真实标签只能取0或1。如果真实标签为0，则损失函数可以简化为：
L = -log(1-p)
如果真实标签为1，则损失函数可以简化为：
L = -log(p)
从上述定义可以看出，当模型输出的概率p越接近真实标签y，损失函数的值越接近0。而当模型输出的概率p与真实标签y之间差异越大时，损失函数的值越大。
回到问题本身，为什么Binary_Cross熵损失为负值？
因为Binary_Cross熵损失函数的定义中包含了负号，所以损失函数的取值为负值。这是由于损失函数的定义方式决定的，它是一种度量模型输出与真实标签差异的指标。
需要注意的是，Binary_Cross熵损失函数的具体取值并不重要，重要的是对比不同模型或不同超参数下损失函数的值，以选择最优的模型。在模型训练过程中，通常通过优化算法（如梯度下降）来最小化损失函数，使得模型能够更好地拟合训练数据并泛化到未见过的数据。
推荐的腾讯云相关产品和产品介绍链接地址：腾讯云机器学习平台（https://cloud.tencent.com/product/tcplus）提供了丰富的机器学习算法和工具，可用于训练和优化模型，支持多种云计算应用场景。
相关·内容
我有以下Keras代码，它试图训练图像和实数特征向量的组合：
from keras.layers import (Conv2D, Flatten, Lambda, Dense, concatenate,
Dropout, Input )
from keras.models import Model
import pandas as pd
import numpy as np
import cv2
import os
def label_img(img):
word_label = img.split('.')[-3]
浏览 2提问于2019-02-07得票数 0
我是机器学习的新手，我想我会从科拉斯开始。在这里，我将电影评论分类为三类(正为1，中性为0，负为-1)，使用二进制交叉熵。所以，当我试图用tensorflow估计来包装我的keras模型时，我得到了误差。
守则如下：
import tensorflow as tf
import numpy as np
import pandas as pd
import numpy as K
csvfilename_train = 'train(cleaned).csv'
csvfilename_test = 'test(cleaned).csv'
# Read .csv
浏览 3提问于2020-08-12得票数 2
回答已采纳
1回答
交叉熵损失Pytorch
、、、、
我有一个关于我的pytorch网络中交叉熵损失的最佳实现的问题。我正在构建一个网络，用于预测Volume-Pictures的3D分割。我有一个背景类或一个前景类，但它应该也有可能预测两个或更多不同的前景类。
训练时输入到我的网络中的形状是batch_size，input_channels，width，height，depth。输入通道等于1，因为我只有灰度图像，深度取决于组成3D体积的2D图片的数量。
网络的输出是batch_size，#classes，width，height，depth。#classes现在等于2，这两个维度几乎是彼此的倒数，因为我现在只有一个背景类和一个前景类。
现在我想
浏览 2提问于2021-06-08得票数 0
2回答
强化学习中的负反馈
、、、、
我无法回答这样的问题：，负回报到底是如何帮助机器避免的？
这个问题的起源来自。根据他们的逻辑，一旦游戏结束(代理赢或输分)，环境返回奖励(+1或-1)。任何中间状态返回0作为奖励。这意味着每一次胜利/松散都会返回0,0,0，0，...,0,1或者0,0,0，...,0，-1奖励数组。然后他们给奖励打折扣并使其标准化：
#rwd - array with rewards (ex. [0,0,0,0,0,0,1]), args.gamma is 0.99
prwd = discount_rewards(rwd, args.gamma)
prwd -= np.mean(prwd)
prw
浏览 0提问于2019-02-19得票数 0
回答已采纳
1回答
我对二元分类场景中的逻辑损失和交叉熵损失感到困惑。根据维基百科()，物流损失的定义为：
其中v=y*y_hat
交叉熵损失定义为：
来自维基百科()：
很容易检查逻辑损失和二进制交叉熵损失(日志损失)实际上是相同的(直到乘法常数1/log(2))。
然而，当我用一些代码测试它时，我发现它们并不相同。下面是python代码：
from numpy import exp
from math import log
def cross_entropy_loss(y, yp):
return -log(1-yp) if y==0 else -log(yp)
def lo
浏览 0提问于2020-03-03得票数 0
1回答
对于标题中的问题的答案是非常明显的，因为它通常被称为"ArcFace丢失“。
然而，有一部分让我感到困惑：
我正在阅读Arcface的以下Keras实现：
在其中，请注意，model.compile行仍然指定loss='categorical_crossentropy'。
此外，我还看到了许多将Softmax称为损失函数的来源，而我以前所理解的是许多分类神经网络输出层的激活函数。
基于这两个混淆点，我目前的理解是，丢失函数，即网络实际上是如何计算给定示例表示“错误程度”的数目的，而不管是交叉熵。ArcFace，和Softmax一样，是输出层的激活函数。
这是对的吗？如
浏览 5提问于2019-12-17得票数 2
所以在训练一个稳定的基地
rollout/ep_len_mean：这将是一集的平均长度。预期的行为是什么？
rollout/ep_rew_mean：平均插曲奖励。预计随着时间的推移会增加
time/fps：？
train/approx_kl：\pi_t和\pi_{t+1}有多大的不同？我认为随着\pi接近最优策略，它应该会随着时间的推移而减少。(不知道为什么它是近似值，而不是确切值)
train/clip_fraction：对如何裁剪r_t奖励的一些度量(如在信任区域中)。应该减少随着时间的推移，因为我们没有走出“边界”，因为有了一个训练有素的政策。
train/clip_range：？
tr
浏览 0提问于2022-10-15得票数 0
回答已采纳
1回答
我用这个：
Python version: 3.7.7 (default, May 6 2020, 11:45:54) [MSC v.1916 64 bit (AMD64)]
TensorFlow version: 2.1.0
Eager execution: True
使用这个U-Net模型：
inputs = Input(shape=img_shape)
conv1 = Conv2D(64, (5, 5), activation='relu', padding='same', data_format="channels_last"
浏览 1提问于2020-07-07得票数 0
回答已采纳
4回答
我试图用LSTM解决一个简单的二进制分类问题。我正在努力找出正确的网络损失函数。问题是，当我使用二元交叉熵作为损失函数时，训练和测试的损失值要比使用均方误差(MSE)函数要高。
在研究中，我发现了二元交叉熵用于分类问题，MSE用于回归问题的理由。然而，在我的情况下，我得到了更好的准确性和较小的损失值与MSE的二进制分类。
我不知道如何证明这些结果是合理的。为什么不使用均方误差来解决分类问题呢？
浏览 0提问于2019-05-06得票数 11
回答已采纳
5回答
我试图一步一步地理解Keras和LSTM。现在，我构建了一个LSTM，输入是一个句子，输出是一个由五个值组成的数组，每个值可以是0或1。
示例:输入句子：‘我讨厌cookie’输出示例: 0,0,1,0,1
为此，我使用了keras库。
现在我不确定我应该使用哪种丢失函数。现在，我只知道两个预定义的损失函数稍微好一点，这两个函数似乎都不适合我的例子：
二进制交叉熵:好的，如果我的输出只有0或1，分类交叉熵:好的，如果我有一个数组的输出，其中1和所有其他值为0。
对于我的例子来说，这两个函数都没有任何意义。你会用什么?为什么？
编辑
另一个问题:您会在Keras中使用哪种激活功能？
浏览 0提问于2019-02-23得票数 1
回答已采纳
我使用Bi分类器进行多标签文本分类，这意味着11个类的数据集中有超过一个标签的实例。当我使用乙状结肠激活函数和"binary_crossentropy“损失函数时，比使用"categorical_crossentropy”损失函数的"softmax“激活函数具有更高的精度。为什么？
浏览 0提问于2022-02-14得票数 0
我最近注意到，我可以拥有并使用Tensorflow模型，该模型具有任意数量的输出，即使预测值只是一个真实值。例如，我可以有16个输出的模型，只有一个真正的目标值，然而，模型仍然没有错误的正常训练。
我的问题是，在比较输出和目标值时，Tensorflow如何处理输出的不正确大小。怎样才能计算损失呢？它是试图使每个输出尽可能接近目标值，还是做某种平均？
浏览 7提问于2021-12-16得票数 1
我在penn treebank上实现了语言模型训练。
我为每个时间步添加损失，然后计算困惑。
这给了我几千亿的莫名其妙的困惑，即使在训练了一段时间之后。
损失本身减少了，但最多只能减少到20左右。(我需要一位数的数字来表示损失，以获得合理的困惑)。
这让我怀疑我的困惑计算是否被误导了。
它是否应该基于每个时间步的损失，然后进行平均，而不是将它们全部相加？
我的batch_size是20，num_steps是35。
def perplexity(loss):
perplexity = np.exp(loss)
return perplexity
...
loss = 0
x =
浏览 41提问于2017-12-29得票数 9
回答已采纳
1回答
我已经看到了和Andrew的神经网络成本函数，并且我注意到，Andrew的成本函数与神经网络的书籍不同。安德鲁·吴使用J(Θ)=−(1/m)∑∑y *log((hΘ(X)+(1−y)*log(1−(hΘ(X)，而本书使用均方误差。
每个错误公式的优缺点是什么？
浏览 3提问于2020-01-21得票数 1
回答已采纳
本文提出了一种基于人工神经网络的模型，每次训练的准确率为94.65%，损失率为12.06%。现在我的问题是，模型的损失不是应该是(100-94 = 6%)还是接近它？当准确度为94%时，为什么要给出12%的结果？
·ANN模型规范：
培训和测试data= 96,465 (培训数据= 80%，测试数据= 20%)
1输入layer= 5节点，2隐藏layers= 24节点，1输出layer= 5节点
激活函数: a.隐层中的校正线性(ReLu)函数b.输出层中的Softmax函数
优化者:亚当
损失函数:稀疏范畴交叉熵
批次大小: 100
历代: 30
浏览 0提问于2021-08-21得票数 0
2回答
当我学习tensorflow的时候，我遇到了一个问题。
成本函数输出'nan‘。
如果您在源代码中发现其他错误，请让我知道它的链接。
我试图将成本函数值发送给我训练过的模型，但它不起作用。
tf.reset_default_graph()
tf.set_random_seed(777)
X = tf.placeholder(tf.float32, [None, 20, 20, 3])
Y = tf.placeholder(tf.float32, [None, 1])
with tf.variable_scope('conv1') as scope:
W1
浏览 3提问于2017-07-28得票数 1
回答已采纳
场景:我一直在为cifar10数据集训练CNN。我使用的是tensorflow，还有一个CNN，它有12个conv层和1个密集层，在softmax稠密层之前。我正在使用数据增强以及批处理规范化。
在几百个历次之后，我对验证集的准确率最高达到92.73 %。
我的问题是：
验证损失略有上升，因为我训练更多。
当验证损失增加时，验证的准确性也会上升。
示例：
一个时代给了我0.295的损失，验证的准确率为90.5%。我的最佳验证时间精度为92.73%，验证损失为0.33。
问题：
为什么我的验证精度提高，而我的验证损失却在上升？
我应该使用与cross_entropy不同的损失度量吗？
浏览 0提问于2020-01-23得票数 3
回答已采纳
我正在训练一个由一个CNN和三个GRUs组成的图像字幕的深层网络。训练过程中，模型损失(绝对交叉熵)降低，但当我测量bleu、METEOR、ROUGE、CIDEr和SPICE分数时，损失最大的时期是第一个损失最大的时期。我不明白为什么会发生这种事？如果绝对交叉熵不是自动编码器合适的损失函数，那么我应该使用什么呢？
浏览 0提问于2019-06-11得票数 3
3回答
对于一个目标向量0,0,0，....0和预测向量0,0.1,0.2的简单分类问题，....1的交叉熵损失会更好/更快地收敛，还是MSE损失？当我绘制它们时，在我看来，MSE损失有一个较低的误差范围。为什么会这样？
例如，当我的目标为1，1，1，1.1时，我得到以下信息：
浏览 0提问于2018-03-16得票数 3
回答已采纳
我想问，在logistic回归中找到根的主要原因是什么(也就是为什么我们在logistic回归中使用牛顿拉夫森方法)。我理解牛顿拉夫森方法的基本原理，但我不明白寻找根或使用二阶导数的重要性。
我知道牛顿·拉夫森的想法，我想知道为什么我们要用这个方法去寻找函数的零点或根呢？以逻辑回归为例，它想告诉我们什么？
浏览 0提问于2018-05-02得票数 3
回答已采纳
1回答
白化输入数据时模型未训练和负损失
、、、、
我正在做分割，我的数据集有点小(1840张图像)，所以我想使用数据增强。我正在使用keras文档中提供的生成器，它生成了一个元组，其中包含一批图像和相应的掩码，并以同样的方式进行了增强。
data_gen_args = dict(featurewise_center=True,
featurewise_std_normalization=True,
rotation_range=30,
width_shift_range=0.2,
浏览 14提问于2019-07-25得票数 0
回答已采纳
我正在尝试在一些模拟数据上训练自动编码器，其中输入基本上是一个应用了高斯噪声的向量。代码与本例中的代码几乎完全相同：
唯一的区别是我更改了网络参数和成本函数：
n_hidden_1 = 32 # 1st layer num features
n_hidden_2 = 16 # 2nd layer num features
n_input = 149 # LunaH-Map data input (number of counts per orbit)
cost = tf.reduce_mean(-tf.reduce_sum(y_true * tf.log(y_p
浏览 1提问于2017-02-23得票数 1
我是新来西亚诺的。我已经学习了基础知识并尝试实现简单的模型(Logistic回归等)。该模型非常简单，具有784 (28*28)个输入单元和10个单元的softmax非线性(在MNIST数据集上进行训练)。我使用作为损失函数，并使用L2调节器来防止过度拟合。但模型似乎仍然过拟合(通过查看模型的权重；如下所示)。我尝试更改正则化参数(lambda)，但什么都不起作用。我哪里错了？提前谢谢。
# theano stuff
from theano import shared, function, pp
import theano.tensor as T
import numpy as np
impo
浏览 0提问于2015-10-29得票数 1
我正在尝试用Java实现一个神经网络。我在学习神经网络时，在我的机器学习课本中遇到了这个问题：
为了给出一些背景知识，这一部分讨论了使用单个感知器进行分类。感知器计算一个简单的函数，该函数是输入的加权和。让我们调用此函数的输出f(x)。然后，sigmoid函数接受f(x)作为输入。这是教科书中的一句话：
The output of the sigmoid function may be interpreted as the posterior
probability that the input x belongs to a certain class.
为什么sigmoid函数的输出被解释
浏览 2提问于2014-02-26得票数 2
1回答
假设对于单个培训示例，真正的标签是1 0 0 0，而预测是0.1 0.5 0.1 0.1 0.2。如何计算其二元交叉熵？以及输出值如何决定一个样本是属于a类还是b类？我也想知道，在二元交叉熵公式中，什么是1-p？
浏览 0提问于2018-09-30得票数 1
1回答
我正在训练一个用于句子分类任务的keras模型。问题是，尽管它给出了94%的准确率，但它没有学到任何东西。当我给出一个新句子(不在数据集中)时，它给出了相同的概率(在model.prediction步骤中)。我不明白为什么会发生这样的事情。
这是我的模型
model = Sequential()
model.add(Embedding(max_words, 30, input_length=max_len))
model.add(BatchNormalization())
model.add(Activation('tanh'))
model.add(Dropout(0.5))
浏览 10提问于2020-08-03得票数 0
我正在构建一个CNN来进行二进制分类(1或0)。为此，我使用了成本函数sigmoid_cross_entropy_with_logits。
但出于某种原因，即使预测值等于正确的值，使用此函数的成本也永远不会等于零。
我试着用TensorFlow网站上的公式来绘制输出：https://www.tensorflow.org/api_docs/python/tf/nn/sigmoid_交叉_熵_使用_逻辑
这个公式：
max(x, 0) - x * z + log(1 + exp(-abs(x)))
通过绘制这个图，我意识到，当输出相等时，它真的不是零。例如，如果z=0和x= 0，则此函数的结果是~
浏览 0提问于2018-08-16得票数 0
1回答
我正在研究如何评估卷积神经网络的性能，特别是我已经看到，我们必须同时考虑准确性和损失。我不明白为什么我们也要看损失，老实说，我还没有真正明白损失是什么。我知道，这是我们希望尽量减少，损失越低，性能越好。
但我也看到，如果损失太低，我们就太合适了，而且损失和准确性之间也有某种关系，但我不清楚这到底意味着什么。
对我来说，这个失去的概念，以及如何解释它，无论是单独的，还是关于准确性的，在目前看来都是一个抽象的概念。
有人能帮我澄清这个概念吗？提前谢谢。
例如，编辑，我获得了这个情节：
📷
我该怎么解释呢？
据我所见，列车组和测试组的损失似乎都以相同的速度减少了，如果发生这种情况，模型是好的，否则就
浏览 0提问于2019-12-06得票数 5
回答已采纳
2回答
在计算损失函数时。我可以手动计算损失吗？
损失=tf.reduce_mean(tf.square(np.array(预测)-np.array(Y)
然后使用Adam优化器优化这个损失
浏览 1提问于2018-03-03得票数 0
回答已采纳
3回答
理解交叉熵损失
、、、
我看到了许多关于CEL或二进制交叉熵损失的解释，在这个上下文中，基本真理是0或1，然后得到如下函数：
def CrossEntropy(yHat, y):
if yHat == 1:
return -log(y)
else:
return -log(1 - y)
然而，当您的yHat不是离散的0或1时，我对BCE的工作方式感到困惑。例如，如果我想查看MNIST数字的重建损失，其中我的地面真理为0< yHat < 1，而我的预测也在相同的范围内，这将如何改变我的功能？
编辑：
抱歉，让我给出更多的上下文来解释我的困惑。在关于VAE的PyTorc
浏览 0提问于2018-03-25得票数 4
回答已采纳
2回答
我正在构建一个二进制分类器，它最终总是在一定数量的时代之后预测所有"0“或"1”，我正在寻找为什么/如何继续进行的可能原因。
以下是我的方法和想法的更多细节：
我正在做的事情:我正在建立一个二进制分类，基本的前馈神经网络的信号处理与tensorflow。
我通过将数据分割成长度window_size点(比如50)的“窗口”来预处理数据，该窗口/示例可以被认为是"1“(正数)或"0”(负数)。正式的、手工标注的标签位于特定点(例如403、875、1450等)。而且间隔相对均匀。如果窗口包含一个标签，我决定我的示例/窗口是正的，否则是否定的。通过某些stride_l
浏览 0提问于2017-06-23得票数 7
1回答
我知道交叉熵/互信息在分类决策中是如何作为损失函数工作的。但我不知道为什么0/1的输球不是一个好的选择。
浏览 1提问于2018-05-12得票数 1
回答已采纳
1回答
我使用了下面的MNIST示例：
我读到了训练和验证方面的损失。我知道验证损失表示验证图像集在经过训练的网络中运行后的错误，但是这个数字的单位是什么？那么这个数字的确切含义是什么呢？
感谢您的帮助！
浏览 0提问于2017-10-24得票数 1
1回答
A2C连续于摆-V0的很好实现
当最后10或20的平均值高于-20时，代码段将停止执行，但结果如下：
episode: 706 score: [-13.13392661]
episode: 707 score: [-12.91221984]
episode: 708 score: [-50.38036647]
episode: 709 score: [-74.58410041]
episode: 710 score: [-138.1596521]
episode: 711 score: [-87.3867222]
episode: 712 score: [-63.2
浏览 0提问于2019-06-23得票数 1
回答已采纳
1回答
我正在构建一个二进制分类，其中我想要预测的类只出现在<2%的时间。我用的是火把
最后一层可能是logosftmax或softmax。
self.softmax = nn.Softmax(dim=1)或self.softmax = nn.LogSoftmax(dim=1)
我的问题
我应该使用softmax，因为它将提供总结为1的输出，并且我可以检查各种prob阈值的性能。这样理解正确吗？
如果我使用softmax，那么我可以使用cross_entropy loss吗？这似乎认为使用它是可以的。
如果我使用logsoftmax，那么我可以使用cross_entropy loss吗？这似乎建
浏览 0提问于2022-03-03得票数 0
回答已采纳
1回答
我正在使用Keras训练我的模型，并尝试读取评估统计数据。我知道损失函数是用来做什么的，但是最高值可能是多少呢？越接近零越好，但我不知道0.2是不是更好。我可以看到，在更多的迭代之后，损失正在下降，准确率也在提高。 我训练模型的代码如下： def trainModel(bow,unitlabels,units):
x_train = np.array(bow)
print("X_train: ", x_train)
y_train = np.array(unitlabels)
print("Y_train: ", y_train
浏览 27提问于2019-05-09得票数 1
回答已采纳
1回答
我需要SSIM作为我的网络中的一个损失函数，但我的网络有两个输出。我需要使用SSIM进行第一次输出，使用cross-entropy进行下一次输出。损失函数是它们的组合。然而，我需要更高的SSIM和更低的cross-entropy，所以我认为它们的组合是不正确的。另一个问题是我在keras中找不到SSIM的实现。 Tensorflow有tf.image.ssim，但它接受图像，我不认为我可以在损失函数中使用它，对吧？你能告诉我我该怎么做吗？我是keras和深度学习的初学者，我不知道如何将SSIM作为keras中的自定义损失函数。
浏览 50提问于2019-04-10得票数 3
我是Tensorflow的新手，我读过关于MNIST ()的入门教程。它可以很好地处理给定的数据，但是当我尝试使用自己的数据时，它会失败。下面是一个实现示例，我试图让网络学习添加(i，j) -> (i+j)：
def generateData(n, r=100) :
inputData = []
outputData = []
for k in range(n):
i, j = random.randrange(0, r), random.randrange(0, r)
inputData.append([i, j])
浏览 3提问于2016-06-20得票数 0
回答已采纳
我正在对数据集中的变量执行多项Logistic回归。根据文献，sklearn.linear_model.LogisticRegression采用交叉熵损失(log损失)作为损失函数对模型进行优化。但是，当我添加新的特性并与模型相匹配时，损失似乎并不是单调的减少。具体来说，如果我将家庭驾驶员数量与车辆拥有量相匹配，(驾驶员数量是车辆拥有量最具预测性的单一变量)，与不加区分地拟合所有变量相比，我的损失更少。
这可能是由于sklearn.metrics.log_loss做了与LogisticRegression的实际损失函数不同的事情。可能这个问题已经变得如此非凸，以至于它找到了一个糟糕的解决方案。
浏览 0提问于2018-06-06得票数 0
回答已采纳
1回答
查看sigmoid_cross_entropy_loss_layer.cpp中的源代码，这是caffe中交叉熵损失函数的源代码，我注意到实际错误值的代码是
for (int i = 0; i < count; ++i) {
loss -= input_data[i] * (target[i] - (input_data[i] >= 0)) -
log(1 + exp(input_data[i] - 2 * input_data[i] * (input_data[i] >= 0)));
}
这似乎与Caffe或C++实现文档中的CE损失函数有很大
浏览 1提问于2017-06-12得票数 1
2回答
我对神经网络中损失和准确性度量的共存感到有点困惑。两者都是为了使y和\hat{y}的比较“准确”，不是吗？那么，这两个冗余不是在训练时代的应用吗？而且，它们为什么没有关联呢？
浏览 0提问于2016-08-25得票数 12
我正在训练一个多标签分类模型来检测衣服的属性。我在Keras中使用迁移学习，重新训练vgg-19模型的最后几层。
属性的总数是1000，其中大约99%是0。准确率、精确度、召回率等指标都失败了，因为模型可以预测全零，但仍然可以获得非常高的分数。二进制交叉熵、汉明损失等在损失函数的情况下不起作用。
我使用的是深度时尚数据集。
那么，我可以使用哪些指标和损失函数来正确地测量我的模型呢？
浏览 1提问于2019-12-15得票数 12
我用tensorflow来给灰度图像着色。因此，我使用sigmoid_cross_entropy_with_logits()，并使用tf.train.AdadeltaOptimizer()将其最小化。我训练它并打印
correct_prediction = tf.norm(y_ - y_conv)
但是经过几次迭代，它给了我nan
step 0, acc 2068538.88
step 1, acc 287121.97
step 2, acc 82377.69
step 3, acc 31250.95
step 4, acc 16694.72
step 5, acc 10168.58
step
浏览 0提问于2018-03-26得票数 1
回答已采纳
正如您在图像中看到的，MCT零神经网络使用损失函数，该函数使用AlphaGo概率和值作为地面实况标签。我正在尝试理解神经网络的输出是否被视为对数(例如实数)或原始概率(0,1)。在损失函数中，MCTS概率(我确信它位于0,1)是向量乘以NN概率的对数。这是损失中的一个负项，但是关于两个向量的相似性，这个项的大小表明了什么？为什么更大的值表示更多的相似性？
浏览 3提问于2017-11-06得票数 1
我是CNN的新手，并试图研究一些MATLAB示例代码(因为我需要知道内部计算)。我最近意识到，我使用的示例代码在反向传播中不会将误差乘以sigmoid的导数。前馈过程有sigmoid作为最后一层的激活函数，因此根据我的理解，反向传播误差=(输出-目标)*sigmoid的导数(输出)。但是，作者故意用以下代码禁用了这一乘法：
if cnn.loss_func == 'cros'
if cnn.layers{cnn.no_of_layers}.act_func == 'soft'
cnn.CalcLastLayerActDerivative
浏览 0提问于2019-03-24得票数 3
2回答
我以前有三个类用于我的文本数据集。
这是我的课程：
0=猫
1=并非两者兼具
2=狗
然后我使用以下代码：
df_result = df[df["class"] != 1]
那么，现在我的类是0和2。当我使用神经网络时，我可以选择什么作为损失和激活？那么，我应该做些什么来选择最后一个稠密的神经网络模型呢？
以前，我的代码是这样的：
model.add(Dense(2, activation = 'softmax'))
history = model.compile(loss = sparse_categorical_crossentropy,
op
浏览 0提问于2021-12-08得票数 0
回答已采纳
1回答
我是微调GPT-2模型的语言生成任务使用拥抱面对变形金刚库-毕火炬，我需要计算一个评估分数(困惑)的微调模型。但我不知道如何利用损失来做到这一点。我想知道如何计算模型的困惑与sum_loss或平均损失或任何其他建议也是欢迎的。任何帮助都是徒劳无功。
编辑：
outputs = model(article_tens, labels=article_tens)
loss, prediction_scores = outputs[:2]
loss.backward()
sum_loss = sum_lo
浏览 0提问于2020-05-24得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
