熵速率定义与各类熵的关系

timerring

发布于 2023-02-24 09:07:32

3680

文章被收录于专栏：TechBlog

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。

熵速率 (entropy rate)

定义：一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为

H=\lim _{n \rightarrow \infty} H(X_{n} \mid X_{1}, X_{2}, \ldots, X_{n-1})

具有记忆性的信源的熵速率定义为

H=\lim _{n \rightarrow \infty} \frac{1}{n} H\left(X_{1}, X_{2}, \ldots, X_{n}\right)

Example 两个二进制随机变量

\mathbf{X}

和

\mathbf{Y}

, 其联合分布为 p(X=Y=0) = p( X=0, Y=1) = p( X=Y=1) = 1/3 。计算

H(X)

H(Y)

H(X \mid Y)

H(Y \mid X)

, and

H(X, Y)

。 Solution:

\begin{array}{l} p(X=0)=p(X=0, Y=0)+p(X=0, Y=1)=\frac{2}{3} \\ p(X=1)=p(X=1, Y=0)+p(X=1, Y=1)=\frac{1}{3} \\ p(Y=0)=p(X=0, Y=0)+p(X=1, Y=0)=\frac{1}{3} \\ p(Y=1)=p(X=0, Y=1)+p(X=1, Y=1)=\frac{2}{3} \\ H(X)=\frac{1}{3} \log 3+\frac{2}{3} \log \frac{3}{2}=0.9183 \quad H(Y)=\frac{1}{3} \log 3+\frac{2}{3} \log \frac{3}{2}=0.9183 \\ H(X, Y)=\sum_{i=1}^{n} p(X, Y) \log (X, Y)=\log 3=1.585 \\ H(X \mid Y)=H(X, Y)-H(Y)=0.6667 \quad H(Y \mid X)=H(X, Y)-H(X)=0.6667 \end{array}