Cross Entropy
Entropy
$$ \begin{align*} Entropy &= \sum_i P(i)log\frac{1}{P(i)} \\ &= -\sum_i P(i)logP(i) \end{align*} $$
上面的公式是香农熵的定义，但看这个式子可能没有什么感觉，下面我们举个例子
假设有四个人，每个人中奖概率是均等的（都是$\frac{1}{4}$），我们算一下这个分布的Entropy
a = torch.full([4], 1/4.) # tensor([0.2500, 0.2500, 0.2500, 0.2500])
print("Entropy:",-(a*torch.log2(a)).sum()) # Entropy: tensor(2.)熵越高，代表越稳定，越没有惊喜度
假设还是四个人，但中奖概率变为0.1,0.1,0.1,0.7，此时Entropy变成多少了呢？
a = torch.tensor([0.1, 0.1, 0.1, 0.7])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(1.3568)我们计算得到这种情况熵变小了，可以理解为，假设在这种概率分布的情况下，告诉你中奖了，你的惊喜程度会比同等中奖概率下的惊喜程度要大
最后，假设中奖概率变为0.001,0.001,0.001,0.997，此时Entropy变为多少了呢？
a = torch.tensor([0.001, 0.001, 0.001, 0.997])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(0.0342)这种情况的熵更小了，说明在这种概率分布情况下，你中奖的惊喜程度特别 特别大
Cross Entropy
计算一个分布p的Entropy，我们通常用H(p)来表示。计算两个分布的Cross Entorpy，我们通常用H(p,q)来表示，H(p,q)的计算公式为
$$ \begin{align*} H(p,q)&= -\sum p(x) logq(x) \\ &= H(p) + D_{KL}(p|q) \end{align*} $$
其中$D_{KL}$，即Kullback–Leibler divergence，中文翻译是相对熵或信息散度，其公式为
$$ D_{KL}(P|Q) = -\sum_i P(i)ln\frac{Q(i)}{P(i)} $$
简单一点理解就是，假如把P和Q作为函数画出来，它俩重叠的部分越少，$D_{KL}$越大，如果两个函数图像几乎完全重合，$D_{KL}≈0$
如果 $P=Q$, 则Cross Entropy = Entropy
接下来的部分是重点
对于一个Classification问题，我们得到的pred是一个0-1 Encoding，即[0 0...1...0...0]，很明显，这个pred的Entropy H(p)=0，因为1log1=0，那么这个pred和真实的Encoding q之间的Cross Entropy
$$ \begin{align*} H(p,q)&= H(p) + D_{KL}(p|q) \\ &= D_{KL}(p|q) \end{align*} $$
也就意味着，当我们去优化p和q的Cross Entropy的时候，如果是0-1 Encoding，它就相当于直接优化p和q的KL divergence，而我们上面也说了，p和q的KL divergence是衡量这两个分布的重叠情况，当KL divergence接近于0时，p和q就越来越接近，这恰好就是我们要优化的目标