瑞利熵与香农熵_熵 信息

大家好，又见面了，我是你们的朋友全栈君。

在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。

Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子信息中也很重要，它可以用来衡量纠缠。在Heisenberg XY自旋链模型中，作为α的函数的Rényi熵可以由于它是关于模数群的特定子群的自守函数而被明确地计算。在理论计算机科学中，最小熵用于随机抽取器的情况下。

定义：

含参数α的瑞丽熵其中α≥0和α≠1，被定义为

H {\ alpha}（X）= {\ frac {1} {1- \ alpha}} \ log {\ Bigg（} \ sum _ {i = 1} ^ {n} p_ {i} ^ {\ alpha} {\ Bigg）}

这里，X是一个具有可能结果的离散随机变量1,2,3,…..,n和相应的概率

p_ {i} \ doteq \ Pr（X = i）

对于i=1,2,….n,而对数基数为2.如果概率是

P_ {I} = 1 / n的

对全部i=1,…..,n,那么分配的所有瑞丽熵都是相等的：

H _ {\ alpha}（X）= \ log n

一般来说，对于所有的离散随机变量X,

H _ {\ alpha}（X）

是一个带有α的非递增函数。

经常可见瑞丽熵和概率向量的p-范数之间的关系：

H _ {\ alpha}（X）= {\ frac {\ alpha} {1- \ alpha}} \ log \ left（\ | P \ | _ {\ alpha} \ right）

在这里，离散的概率分布P=(p1,……..,pn)被解释为一个向量Rn，同时pi≥0和Σpi=1

瑞丽熵中α≥0

特例

哈特利或最大熵:

H_ {0}（X）= \ log n = \ log | X |。\，

香农熵:

H_ {1}（X）= - \ sum_ {i = 1} ^ {n} p_ {i} \ log p_ {i}。

碰撞熵，有时被称为“Rényi熵”，是指α = 2 的情况，

H_ {2}（X）= - \ log \ sum _ {i = 1} ^ {n} p_ {i} ^ {2} = - \ log P（X = Y）

其中，X和Y ^是独立同分布的。

最小熵:

在极限中

H _ {\ alpha}

收敛到最小熵

H _ {\ infty}

：

（i）（ - \ log p_ {i}）= - （\ max _ {i} \ log p_ {i}）= - \ log \ max _ {i } P_ {I} \ ,.

参考文献：https://en.wikipedia.org/wiki/R%C3%A9nyi_entropy

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/168293.html原文链接：https://javaforall.cn