KL散度以及交叉熵和信息熵

一句话三者关系

信息熵完美编码，交叉熵不完美编码，相对熵是两者的差值。即：相对熵 = 交叉熵 - 信息熵。

什么是KL散度

• KL散度的概念来源于概率论和信息论中。
• KL散度又被称为：相对熵、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。

如何理解KL散度

• 在统计学意义上来说，KL散度可以用来衡量两个分布之间的差异程度。若两者差异越小，KL散度越小，反之亦反。当两分布一致时，其KL散度为0。
• KL散度在信息论中的专业术语为相对熵。其可理解为编码系统对信息进行编码时所需要的平均附加信息量。

KL散度的应用

• 正是因为其可以衡量两个分布之间的差异，在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder, 简称VAE)、EM算法(Expectation-Maximization Algorithm)、GAN网络中。