熵的理解

熵

熵在信息论中代表随机变量不确定度的度量。一个离散型随机变量X的熵H(X)定义为：

明确定义的科学名词且与内容无关，而且不随信息的具体表达式的变化而变化。是独立于形式，反映了信息表达式中统计方面的性质。是统计学上的抽象概念。信息熵的一种解释是，它表示的是最短的平均编码长度。同样的，不确定性越大，熵就越大。信息熵的单位是比特(bit)。我们举两个简单的例子： 第一个例子： 32支球队，在无任何先验信息的前提下，用二分法猜冠军队伍，最多猜5次，即：

第二个例子：

相对熵(KL离散度)

相对熵又叫做KL离散度，其定义为：

KL 散度是两个概率分布f(x)和g(x)差别的非对称性的度量。KL散度是用来度量使用基于f(x)的编码来编码来自g(x)的样本平均所需的额外的位元数。 很容易证明，有三个结论： (1) 两函数完全相同时，KL=0 (2) KL越大，差异越大 (3) 对概率分布或者概率密度函数(>0), KL可用来衡量两个随机变量分布的差异性。

交叉熵

对一随机事件，其真实概率分布为p(i)，从数据中得到的概率分布为q(i)，则我们定义，交叉熵为：

核心理解：

即：交叉熵=信息熵+KL散度（相对熵） 由于信息熵H(p)H(p)是固定不变的，因此我们在机器学习中就用交叉熵作为损失函数。常见的做法是先用Softmax函数将神经网络的结果转换为概率分布，然后用交叉熵刻画估算的概率分布与真实的概率分布的”距离”。

参考资料 1.数学之美 2.交叉熵的了解