如何计算Pytroch中两批分布之间的KL散度？
如何计算Pytroch中两批分布之间的KL散度？
提问于 2021-01-06 12:46:05
给定了一批分布，它表示为一个pytorch张量：
A = torch.tensor([[0., 0., 0., 0., 1., 5., 1., 2.],
[0., 0., 1., 0., 4., 2., 1., 1.],
[0., 0., 1., 1., 0., 5., 1., 1.],
[0., 1., 1., 0., 2., 3., 1., 1.],
[0., 0., 2., 1., 3., 1., 1., 0.],
[0., 0., 2., 0., 5., 0., 1., 0.],
[0., 2., 1., 4., 0., 0., 1., 0.],
[0., 0., 2., 4., 1., 0., 1., 0.]], device='cuda:0')A是一批发行版，由八个发行版组成。现在，给出另一批发行版B
B = torch.tensor([[0., 0., 1., 4., 2., 1., 1., 0.],
[0., 0., 0., 5., 1., 2., 1., 0.],
[0., 0., 0., 4., 2., 3., 0., 0.],
[0., 0., 1., 7., 0., 0., 1., 0.],
[0., 0., 1., 2., 4., 0., 1., 1.],
[0., 0., 1., 3., 1., 3., 0., 0.],
[0., 0., 1., 4., 1., 0., 2., 0.],
[1., 0., 1., 5., 0., 1., 0., 0.],
[0., 1., 5., 1., 0., 0., 1., 0.],
[0., 0., 3., 2., 2., 0., 1., 0.],
[0., 2., 4., 0., 1., 0., 1., 0.],
[1., 0., 4., 1., 1., 1., 0., 0.]], device='cuda:0')B有12个发行版。我要计算A中的每个分布和B中的每个分布之间的KL散度，然后得到一个KL距离矩阵，其形状为12*8。我知道如何使用循环结构和torch.nn.functional.kl_div()来达到它。是否有其他方法可以在不使用for-循环的情况下实现？
下面是使用for-循环的实现：
p_1 = F.softmax(A, dim = -1)
p_2 = F.softmax(B, dim = -1)
C = torch.empty(size = (A.shape[0], B.shape[0]), dtype = torch.float)
for i,a in enumerate(p_1):
for j,b in enumerate(p_2):
C[i][j] = torch.nn.functional.kl_div(a.log(), b)
print(C)产出如下：
tensor([[0.4704, 0.5431, 0.3422, 0.6284, 0.3985, 0.2003, 0.4925, 0.5739, 0.5793,
0.3992, 0.5007, 0.4934],
[0.3416, 0.4518, 0.2950, 0.5263, 0.0218, 0.2254, 0.3786, 0.4747, 0.3626,
0.1823, 0.2960, 0.2937],
[0.3845, 0.4306, 0.2722, 0.5022, 0.4769, 0.1500, 0.3964, 0.4556, 0.4609,
0.3396, 0.4076, 0.3933],
[0.2862, 0.3752, 0.2116, 0.4520, 0.1307, 0.1116, 0.3102, 0.3990, 0.2869,
0.1464, 0.2164, 0.2225],
[0.1829, 0.2674, 0.1763, 0.3227, 0.0244, 0.1481, 0.2067, 0.2809, 0.1675,
0.0482, 0.1271, 0.1210],
[0.4359, 0.5615, 0.4427, 0.6268, 0.0325, 0.4160, 0.4749, 0.5774, 0.3492,
0.2093, 0.3015, 0.3014],
[0.0235, 0.0184, 0.0772, 0.0286, 0.3462, 0.1461, 0.0142, 0.0162, 0.3524,
0.1824, 0.2844, 0.2988],
[0.0097, 0.0171, 0.0680, 0.0284, 0.2517, 0.1374, 0.0082, 0.0148, 0.2403,
0.1058, 0.2100, 0.1978]], device='cuda:0')回答 1
Stack Overflow用户
回答已采纳
发布于 2021-01-06 14:39:22
看看nn.KLDivLoss，计算KL散度的公式是
kl = torch.mean(b * (torch.log(b) - a))我们可以使用广播业有效地计算KL：
# avoid NaNs from log(0)
lB = B.clone()
lB[B==0] = 1.
# do the computation efficiently
C = (B[None, ...] * (torch.log(lB[None, ...]) - A[:, None, :])).mean(dim=-1)想想看，我不知道你在问什么是有道理的。您的A和B张量中充满了数字，但它们并不表示分布(它们不与1相加)。请仔细考虑一下你在这里想做什么。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65596026
复制相关文章
相似问题
腾讯云开发者
