问均匀分布源的熵测量

EN

有很多关于熵的误解，所以你有很好的伙伴。即-

“我最关心的是怎么称呼它。我想把它叫做“信息”，但是这个词被过度使用了，所以我决定把它叫做“不确定性”。当我和约翰·冯·诺依曼讨论这件事时，他有了一个更好的主意。冯·诺依曼告诉我，“你应该称它为熵，有两个原因。首先，你的不确定性函数已经在统计力学中使用了这个名字，所以它已经有了一个名字。其次，更重要的是，没有人知道熵是什么，所以在一场辩论中，你总是有优势的。“

-Claude Shannon.

你是对的，熵在均匀分布中是最大的。但你把“制服”和“混乱”混淆了。在IID均匀分布中，对于一组n可能的值，观察者不能以比\frac{1}{n}更大的任何确定性来预测下一个值。现在将其与正态分布进行比较，N(\mu, \sigma^2)说。它的平均值为\mu。我们可以预期正态分布的下一个值更可能是\mu。因此，你能看到为什么均匀分布比其他分布少吗？

“顺序”来自于预测下一个值的能力。预测下一个值的最小能力来自于均匀分布。因此，最混乱的。语言是吧？