在TensorFlow概率中，与贝叶斯层的损失属性相关的损失是什么？
在TensorFlow概率中，与贝叶斯层的损失属性相关的损失是负对数似然损失（Negative Log-Likelihood Loss）。负对数似然损失是一种常用的损失函数，用于衡量模型的预测结果与真实标签之间的差异。在贝叶斯推断中，负对数似然损失用于最大化后验概率，即最大化模型对观测数据的拟合程度。
负对数似然损失可以通过计算模型预测结果的概率分布与真实标签的概率分布之间的交叉熵来得到。交叉熵是一种衡量两个概率分布之间差异的指标，通过最小化交叉熵可以使模型的预测结果更接近真实标签。
负对数似然损失在贝叶斯层中的应用可以帮助模型进行概率建模和不确定性估计。通过使用贝叶斯层，可以对模型的参数引入先验分布，并通过最小化负对数似然损失来更新参数的后验分布。这样可以更好地处理不确定性，并提供更可靠的预测结果。
在腾讯云的相关产品中，推荐使用TensorFlow Serving来部署和提供贝叶斯模型的推断服务。TensorFlow Serving是一个开源的模型服务系统，可以方便地部署和扩展机器学习模型。您可以通过以下链接了解更多关于TensorFlow Serving的信息：https://cloud.tencent.com/product/tfserving
相关·内容
1回答
贝叶斯超参数优化
machine-learning、bayesian、tree-structure
我已经为我的lstm超参数做了一些贝叶斯超参数优化的实验。
我使用一种方法，使用高斯过程和TPE算法对误差进行建模。他们工作得很好。
我想知道这些策略在哪里被称为“贝叶斯”。谁能解释一下在超参数优化的背景下“贝叶斯”是什么意思？
谢谢
浏览 17提问于2019-06-27得票数 1
1回答
pytorch python中无法使用多目标损失函数
python、deep-learning、neural-network、pytorch、loss-function
我无法在pytorch中对多标签分类使用损失函数这是我的损失函数：
def loss(self,pred,y_true):
pred = torch.tensor(pred)
y_true = torch.tensor(y_true)
loss = nn.NLLLoss()(torch.log(pred), y_true)
return loss
在试图获得损失时：
model.loss(model(xtrain),ytrain)
它显示一个错误：
RuntimeError: 1D target tensor expected, multi-target
浏览 6提问于2021-09-24得票数 0
1回答
负对数似然不等于交叉熵？
machine-learning、deep-learning
负对数似然
\sum_{i=1}^{m}\log p_{model}(\mathbf{y} | \mathbf{x} ; \boldsymbol{\theta})
可以乘以\frac{1}{m}，然后用大数定律得到
\frac{1}{m} \sum_{i=1}^{m}\log p_{model}(\mathbf{y} | \mathbf{x} ; \boldsymbol{\theta}) \rightarrow E_{}(\log p_{model}(\mathbf{y} | \mathbf{x} ; \boldsymbol{\theta}))
当样本大小时，m趋于无穷大。这种期望
浏览 0提问于2021-05-06得票数 2
回答已采纳
1回答
在预测温度方面，哪一个损失函数比MSE更好？
tensorflow、machine-learning、deep-learning、loss-function
我的特征向量大小为1x4098。每个特征向量对应于浮点数(温度)。在训练中，我有10.000个样本。因此，我的训练集大小为10000x4098，标签为10000x1。我想用线性回归模型来预测训练数据的温度。我使用3个隐藏层(512,128，32)与MSE损失。然而，我只有80%的准确性使用tensorflow。你能向我建议其他人失去功能以获得更好的表现吗？
浏览 0提问于2018-04-19得票数 2
回答已采纳
1回答
多类软标签分类中交叉熵与似然的关系
machine-learning、neural-network、predictive-modeling
当样本多类标签是一个热二进制向量(基本相同)时，交叉熵与对数似然之间的联系得到了广泛的表达。交叉熵定义时，标签不是一个热点，而是任何有效的概率分布。
一般交叉熵与对数似然之间的关系是什么？
单热箱
日志似然和交叉熵都归结为：
$-\sum\limits_{i}\sum\limits_k1{{y_i^{(k)}=1}}{\log{\hat{y}_i^{(k)}}}(\theta)$
在以下情况下：
$i$ -样本索引$k$ -类索引$\theta$ -模型参数$y$ -样本标签(单热向量) $\hat{y}$ $-预测(概率分布类似向量) $1{}$ -指示函数
General案例 ($y_i$
浏览 0提问于2018-02-24得票数 3
1回答
如何计算MNIST数据集上的负对数似然值？
python、tensorflow、machine-learning、recurrent-neural-network、mnist
下表
来自的报纸。但是我找不到他们的代码来计算NLL。我想问一下，这是不是简单的二元交叉熵。我能用Tensorflow 函数计算吗？
在强迫教师论文中，没有给出教师强迫的评价结果。我训练了一个直截了当的LSTM，并获得了80.394的NLL。我的最后一个问题是，有多可能得到80或70？
更具体地说，我试图生成一个像素的MNIST图像。我的模型对每个像素进行二值预测，可以取0和1的值。逻辑和标签的维数都是[batch_size, 28*28, 1]，其中28是MNIST图像的高度和宽度。
浏览 0提问于2018-09-25得票数 4
1回答
为什么天真的拜斯会产生？
machine-learning、machine-learning-model
我正在编写一份文档，其中应该包含使用朴素贝叶斯(generative)和Logistic回归(区分性)模型进行文本分类的关键区别。
在我的研究中，我遇到了朴素贝叶斯模型的定义：
文档d在类c中的概率计算为…其中，p(tk|c)是发生在类c文档中的术语tk的条件概率。
当我开始比较生成模型和鉴别模型时，我在StackOverflow上找到了这样的解释：。
生成模型学习联合概率分布p(x,y)，判别模型学习条件概率分布p(y|x)，应该将其理解为“y给定x的概率”。
在这一点上，我感到困惑:朴素贝叶斯是一个生成模型，使用条件概率，但同时，鉴别模型被描述为他们学习了条件概率，而不是生
浏览 3提问于2017-12-27得票数 9
1回答
如何在tensorflow会话中使用mean_squared_error损失
python、tensorflow、machine-learning、keras
我是坦索弗洛的新手
在tensorflow会话代码的一部分中，有：
loss = tf.nn.softmax_cross_entropy_with_logits_v2(
logits=net, labels=self.out_placeholder, name='cross_entropy')
self.loss = tf.reduce_mean(loss, name='mean_squared_error')
为此，我想使用mean_squared_error损失函数。我在tensorf
浏览 0提问于2018-11-24得票数 2
回答已采纳
1回答
在xgboost泊松运行中nloglisilies值背后的直觉
python、xgboost、poisson、gbm
当我使用count:poisson而不是rmse时，我看到的是nloglikelihood值。现在我不确定如何将这些数字与rmse或mae进行比较。
当然值越小越好..但没有得到我们在rmse或Mae中得到的实际错误直觉。
例如-> train-poisson-nloglik:2.01885 val-poisson-nloglik:2.02898
这里我们可以说，实际值相差2.02个误差。有人能用一个小例子来解释一下吗？谢谢。
浏览 0提问于2017-03-22得票数 0
1回答
损失函数负对数似然损失，尽管准确率极高
nlp、pytorch、loss、log-likelihood、sequence-to-sequence
我正在调试一个序列到序列模型，并故意尝试完美地拟合一个大约200个样本(长度在5-50之间的句子对)的小数据集。我在pytorch中使用负对数似然损失。我得到了很低的损失(~1e^-5)，但在同一数据集上的准确率只有33%。
我也在3个样本上训练了模型，并获得了100%的准确率，但在训练过程中我遇到了损失。我的印象是，如果预测标签和目标标签之间存在不匹配，则负对数似然只会给出损失(损失在~1e^-5的相同区域)。
我的代码中可能存在bug吗？
浏览 9提问于2020-07-14得票数 2
1回答
基于TensorFlow概率的贝叶斯神经网络编码
python、tensorflow、tensorflow-probability
我试图使用TensorFlow概率来实现一个生物信息学回归任务的贝叶斯深度学习。在传统数据科学中最接近的类比是图像评分，该模型试图预测标签(浮动值)尽可能接近真实标签。
我以前在我的数据集上训练过一个TensorFlow中正常密集层的模型，它在一个独立的测试集上确实收敛并执行得很好。然而，当密集网络最终收敛到小于1的时候，贝叶斯网络似乎一点也不收敛，损失大约10,000。我认为错误可能在于我实现了贝叶斯神经网络。任何帮助都将不胜感激。
下面是来自贝叶斯神经网络和我试图替换的密集网络的代码片段。
贝叶斯神经网络
kernel_divergence_fn=lambda q, p, _: tfp.d
浏览 3提问于2020-12-02得票数 0
6回答
是否可以为逻辑回归定义自己的成本函数？
machine-learning、data-mining、regression
在最小二乘模型中，成本函数被定义为预测值与实际值之差的平方，作为输入的函数。
当我们进行逻辑回归时，我们将成本函数更改为对数函数，而不是将其定义为sigmoid函数(输出值)与实际输出之间的差值的平方。
是否可以更改和定义我们自己的成本函数来确定参数？
浏览 2提问于2012-08-28得票数 22
回答已采纳
1回答
双峰时间序列预测：“向上或向下，但不是横向”--什么是最好的建模方法？
time-series、predictive-modeling、gaussian、finance、softmax
假设我有一个时间序列(例如比特币价格)。我想预测明天的价格，特别是明天价格从今天开始的变化。假设这是高斯分布的，平均为0%。
如果市场呈上升趋势，价格预测应该更高(例如，上涨3.1%)。
如果市场呈下降趋势，价格预测应该更低(例如-5.4%)。
如果市场走向横向，价格预测应该是中性的(例如0%)。
然而，也有一些时候，市场准备“升或跌，但不是横向”。(这可能是因为新闻中的一些争议，每个人都在等着看其他人会做些什么，而谁先采取行动，就像蝴蝶效应一样，开始了这一趋势。)这是我对模特感兴趣的部分。
如果该模型被训练成简单地预测目标浮动值(例如-5.4)，这可以告诉我们趋势的上升、下降或横向，但它不能
浏览 0提问于2021-09-02得票数 0
回答已采纳
2回答
如何计算tensorflow中RNN的困惑
python、tensorflow、lstm、recurrent-neural-network
我正在运行张量流的单词RNN实现
如何计算RNN的困惑。
以下是训练中的代码，显示了每个时期的训练损失和其他情况：
for e in range(model.epoch_pointer.eval(), args.num_epochs):
sess.run(tf.assign(model.lr, args.learning_rate * (args.decay_rate ** e)))
data_loader.reset_batch_pointer()
state = sess.run(model.initial_state)
sp
浏览 0提问于2017-01-27得票数 10
回答已采纳
1回答
非生物数据贝叶斯神经网络？
neural-network、predictive-modeling、bayesian、bayesian-networks
建立一个不带概率分布的贝叶斯神经网络作为预测模型的因变量是否可行？
我的意思是，如果id喜欢用解释变量X(例如y=5)的向量来推断一个特定的值，比如y(例如，X=)，那么贝叶斯神经网络就可以推断出具有标准差σ的y均值的分布(例如y均值=5，σ=0.5)。
这有意义吗？在不考虑simgma的情况下，神经网络的损失函数是否可以通过y与y均值的比较来工作呢？
部分回答:我认为sigma是神经网络的权重矩阵中分布的结果，它应该能工作。但我想确定并理解。
PS:我在生态学领域工作，所以得到结果的概率分布符合我的目标。
浏览 0提问于2019-01-13得票数 1
回答已采纳
3回答
当MLE不能给出一个确定的解时，为什么要考虑它在Logistic回归中的作用？
regression、logistic-regression、parameter-estimation
如果极大似然估计( MLE )不能给出Logistic回归中参数的适当闭型解，为什么这种方法会有如此多的讨论呢？为什么不坚持梯度下降来估计参数呢？
浏览 0提问于2022-05-04得票数 2
回答已采纳
3回答
MSE损失与交叉熵损失的收敛性比较
machine-learning、logistic-regression、loss、cross-entropy、mean-square-error
对于一个目标向量0,0,0，....0和预测向量0,0.1,0.2的简单分类问题，....1的交叉熵损失会更好/更快地收敛，还是MSE损失？当我绘制它们时，在我看来，MSE损失有一个较低的误差范围。为什么会这样？
例如，当我的目标为1，1，1，1.1时，我得到以下信息：
浏览 0提问于2018-03-16得票数 3
回答已采纳
1回答
LSTM:向贝叶斯深层神经网络的转换
lstm、bayesian、dropout
从Yarin关于使用Dropout作为贝叶斯近似(https://arxiv.org/pdf/1506.02142.pdf)的研究论文开始，我试图将这个概念应用到我的序列预测模型中。我的模型由两个LSTM层组成，然后是一个重合层，然后是一个softmax层。在每个层之后添加一个退出层。
我已经找到了一些测量深层神经网络不确定性的实现(比如这里的https://fairyonice.github.io/Measure-the-uncertainty-in-deep-learning-models-using-dropout.html)，但它们似乎都适用于密集层，而不是LSTM层。
总之，我要问的
浏览 0提问于2019-04-19得票数 3
1回答
如何正确使用交叉熵损失对软件最大值进行分类？
python、deep-learning、pytorch、softmax、cross-entropy
我想训练一个多类别的分类器，用Pytorch。
下面的演示了如何在最后一层类型nn.Linear(84, 10)之后使用nn.CrossEntropyLoss()。
然而，我记得这就是Softmax所做的。
这让我很困惑。
如何以最好的方式训练“标准”分类网络？
如果网络有一个最终的线性层，如何推断每个类的概率？
如果网络有最终的softmax层，如何训练网络(哪种损失，以及如何)？
我在Pytorch论坛上找到了，它很可能回答了所有这些问题，但是我无法将它编译成工作的、可读的Pytorch代码。
我的假设答案是：
就像。
线性层输出的指数，这实际上是逻辑(日
浏览 2提问于2020-12-22得票数 3
回答已采纳
2回答
如何评估通过机器学习技术获得的结果的不确定性？
machine-learning、regression、uncertainty
随着机器学习(其各种形式)在科学中变得越来越普遍，建立逻辑和系统的方法来解释机器学习结果变得非常重要。虽然现代ML技术已经表明自己能够与更“经典”的技术竞争，甚至超过了它们的准确性，但在任何数据分析中得到的数值结果都只是故事的一半。
有建立和良好的形式化(数学上)的方法来评估结果中的不确定性，通过经典方法。如何评估机器学习结果中的不确定性？例如，在类似于经典回归分析的情况下，估计拟合参数的不确定性(至少在理论上是如此)是相对直接的。我可以做一些测量，把它们拟合成某种方程，估计一些物理参数，例如用高斯误差近似的规则来估计它的不确定性。如何确定某些机器学习算法所估计的同一参数的不确定性？
我认识到
浏览 0提问于2022-06-10得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
