腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
R中的Jensen - Shannon
散
度
r
我是R的新手,正在尝试寻找一个函数来计算R中的
JS
散
度
。我可以看到R有用于计算
KL
散
度
的KLdiv,但是有什么可用于
JS
散
度
的吗?
浏览 3
提问于2012-06-27
得票数 6
1
回答
VAE中的
KL
散
度
autoencoder
、
distribution
如果我正确理解,
KL
-
散
度
是两个分布的相对熵。要计算两个分布的
KL
散
度
,需要两个随机变量向量。 我不明白的是,如何计算VAE (潜空间向量和N(0,1) )中的
KL
散
度
,正如许多教程中所述。我的问题是,如何正确地将潜在空间向量创建为随机变量向量,这样最终就可以计算出
KL
散
度
。
浏览 0
提问于2018-12-10
得票数 0
回答已采纳
1
回答
在神经网络中,两个高斯分布之间的
KL
散
度
作为损失函数的影响是什么?
neural-network
、
deep-learning
、
loss-function
在许多深层神经网络中,特别是基于VAE结构的神经网络中,在损失函数的基础上加入了
KL
散
度
项。计算了估计的高斯分布和先验分布之间的
散
度
。对于高斯分布,
KL
散
度
有一个封闭形式的解。通过最小化
KL
散
度
,使估计分布更接近先验分布。 我的问题是,既然高斯分布完全由均值和协方差来描述,我们为什么不直接在估计的参数和先前的参数之间进行MSE呢?均值和协方差之间的最小均方误差也使这两个分布更加接近.取
KL<
浏览 0
提问于2019-12-23
得票数 2
回答已采纳
2
回答
关于
KL
-
散
度
和特征选择的直觉
decision-tree
、
information-theory
我在理解
KL
-
散
度
以及如何使用它进行特征选择时有点困难。因此,假设我有一组观察值(例如,0和1),并为每个观察值生成2个特征。我现在的问题是:为什么特性是“最好的”?我知道我可以使用
KL
-
散
度
(由$$D_{
KL
} =log(I)\ \sum_i \frac{ p(i) }{q(I)}$$给出),但是什么是P,什么是Q?我的直觉告诉我,P是特征1,Q是真正的分布(所以是0和1的集合),但我的理解也是,一个好的特征可以最大化
KL
散
浏览 4
提问于2016-06-04
得票数 0
1
回答
为什么我在计算两个OneHotCategorical发行版之间的
KL
散
度
时会得到一个NaN?
tensorflow
、
tensorflow-probability
我尝试使用以下代码计算两个OneHotCategorical分布之间的
KL
散
度
: posterior = tfd.OneHotCategorical(probs=[0., 0., 0., 0., 0.结果是: print(posterior.
kl
_divergence(prior)) tf.Tensor(nan, shape=(), dtype=float32) 这是一个bug,还是想要的结果?我测试了一下,错误指的是
KL
散
度
的计算,其中0的问题。值发生(对数和除法)。
浏览 15
提问于2020-01-14
得票数 1
1
回答
VAE训练中
KL
散
度
损失先减小后增大
training
、
autoencoder
、
generative-models
、
vae
但是,问题是
KL
散
度
损失。
KL
散
度
损失先下降后开始增加。我已经附加到培训日志文件的链接。
浏览 0
提问于2022-06-19
得票数 0
1
回答
TF层中的
kl
_use_exact参数
tensorflow
、
tensorflow-probability
、
densevariational
我的问题是,当我们将参数
kl
_use_exact设置为False时,我们没有考虑到先前的函数。我试着查看DenseVariational类的源代码(_make_
kl
_divergence_penalty函数),比以前更加困惑,我没有使用
kl
_use_exact。
浏览 19
提问于2022-06-22
得票数 0
回答已采纳
1
回答
变分自编码器
KL
散
度
损失爆发及模型返回nan
deep-learning
、
pytorch
、
gradient
、
autoencoder
nn.functional.binary_cross_entropy(x_hat.view(-1, 128 ** 2), x.view(-1, 128 ** 2),reduction='sum')
KL
_loss = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())
浏览 4
提问于2021-06-08
得票数 1
1
回答
如何度量具有相同特性的两个数据集之间的相似性?
machine-learning
、
python
、
classification
、
clustering
、
similarity
我有多个具有相同功能的数据集,一些数字数据集和一些分类数据集。唯一的区别是它们是不同国家的市场行为。我想知道是否有一种方法来测量两个或多个数据集之间的相似性,并提供一定的相似性。例如,美国和英国的市场行为90%是相似的。这样做的目的是找出类似的市场,然后用它们来计算因果影响。请告诉我什么是最好的方法。
浏览 0
提问于2022-06-20
得票数 0
3
回答
为什么scipy.stats.entropy(a,b)返回inf,而scipy.stats.entropy(b,a)不返回inf?
python
、
scipy
In [15]: a = np.array([0.5, 0.5, 0, 0, 0]) Out[17]: inf Out[18]: 0.6931471805599453
浏览 2
提问于2019-07-29
得票数 2
回答已采纳
1
回答
在Keras中实现
KL
发散的意义是什么?
tensorflow
、
machine-learning
、
keras
、
deep-learning
我有点困惑
KL
发散是如何应用的,特别是在Keras中,但我认为这个问题对于深度学习应用来说是一个普遍的问题。我可以对来自y_true和y_pred的任意一对行进行
KL
散
度
计算,并得到预期的结果。这些
KL
散
度
的平均值与训练历史中Keras报告的损失相匹配。但是,这种聚合--在每一行上运行
KL
散
度
并取平均值--在损失函数中不会发生。我还没有在
KL
发散的在线处理中真正看到这个方面(通过数据集的样本聚合);
浏览 0
提问于2017-06-05
得票数 7
回答已采纳
2
回答
两个torch.distribution.Distribution对象的
KL
散
度
pytorch
、
pytorch-distributions
我试图确定如何计算两个torch.distribution.Distribution对象的
KL
散
度
。到目前为止,我还没有找到一个函数来完成这个任务。以下是我尝试过的:from torch import distributions as tdist
浏览 54
提问于2022-06-23
得票数 3
回答已采纳
1
回答
Kullback Liebler发散已经在TensorFlow中实现了吗?
machine-learning
、
tensorflow
、
data-loss
交叉熵作为我的损失函数:cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, y)) 现在,我想我应该使用
KL
散
度
损失函数。但是,我没有在tensorflow中找到它,有没有人可以帮助我使用
KL
散
度
损失函数而不是Softmax损失?
浏览 6
提问于2016-04-12
得票数 1
1
回答
解释
KL
发散值
python
、
scipy
因此,我使用枕库的rel_entr模块来计算
KL
散
度
。我已经读过一些文章,其中提到
KL
散
度
输出为0表示这两个分布基本上是相同的。另外,我读到
KL
散
度
是无界的。因此,
KL
值介于0和无穷大之间。因此,考虑到这些知识,我在我的研究中没有遇到的一点是,是否存在与
KL
值有关的“阈值”。我的意思是,在什么价值(由
KL
发散给),我看这个值,并得出'P和q是巨大不同的‘?
浏览 7
提问于2022-04-12
得票数 0
1
回答
理解pdist与mdscale的结合使用
matlab
、
scale
、
cluster-analysis
、
pdist
我正在解决一个杂务问题。在对观测数据进行聚类之前,我首先计算了观测值之间的pdist,然后使用MATLAB中的mdscale函数返回到三维。我使用transformed_observation作为k均值聚类算法的输入,与使用原始观测值相比,获得了更好的聚类结果(即,聚类与标签匹配)。任何人都能解释我为什么?我刚试过..。% select the dimensions of my features % gener
浏览 1
提问于2016-01-26
得票数 0
回答已采纳
1
回答
3个计算相对熵的函数。有什么关系呢?
python
、
entropy
、
information-theory
、
scipy.stats
python中的Scipy提供了以下函数,这些函数似乎计算相同的信息论度量,Kullback
散
度
,也称为相对熵: 可以切换到计算
KL
-
散
度
的scipy.stats.entropy,,如果是qk=Nonescipy.special.rel_entrscipy.special.
kl
_div
浏览 8
提问于2020-08-12
得票数 2
回答已采纳
1
回答
如何衡量两个变量分布的切线关系,梳理与否?
python
、
statistics
有没有统计方法来评估2个分布的切线关系?if distributed like comb, result is smaller. plt.show()
浏览 3
提问于2014-01-17
得票数 1
1
回答
矩阵的INT8量化
python
、
nlp
、
pytorch
、
quantization
受到“Transformer神经机器语言翻译模型的高效8位量化”的启发,我决定遵循这篇论文的警告。然而,我对在量化过程中设置偏移量变量感到困惑。 INPUT : A (tensor of FP32, [1, 4, 1024, 256]) offset = torch.empty(A.shape)scale = 255 / (torch.max(A) - torch.min(A)) # Probability Distributio
浏览 12
提问于2021-10-23
得票数 0
1
回答
t实现: Kullback-Leibler发散
machine-learning
、
python
像在1中一样,the的工作原理是逐步减少Kullback (
KL
)
散
度
,直到满足一定的条件为止。The的创建者建议使用
KL
差异作为可视化的性能标准:用我自己计算<em
浏览 0
提问于2014-07-17
得票数 11
回答已采纳
1
回答
python中离散点的极限密度(LDDP)
python
、
entropy
、
information-theory
信息论中的香农熵衡量了离散随机变量经验分布中的不确定性或无序性,而微分熵衡量的是连续随机变量的经验分布。然而,微分熵的经典定义是错误的,并用离散点的极限密度(LDDP)进行了修正。scipy或其他计算LDDP吗?如何在python中估计LDDP?
浏览 70
提问于2020-08-05
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
KL散度和交叉熵的对比介绍
初学机器学习:直观解读KL散度的数学概念
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
谷歌最新研究:用“复合散度”量化模型合成泛化能力
ICML 2017大热论文:Wasserstein GAN
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券