本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。
为什么要研究信息率失真函数?
用于限失真信源编码
对于限失真信源, 应该传送的最小信息率是R(D), 而不是无失真情况下的信息熵H(X) , 显然
, 当且 仅当 D=0 时等号成立。
为定量度量D, 必须建立信源的客观失真度量, 并与D建立定量关系。
R(D) 函数是限失真信源信息处理的理论基础。
R(D) 是传送每个信源符号所需要的最小的平均二进制位数。
根据信道编码定理,信道不可能实现对消息的完全无失真传输。实际生活中,人们并不要求获得完全无失真的消息,通常只要求近似地再现原消息,也就是允许一定的失真存在。在限定失真度条件下压缩信源代码长度(包括削减一部分次要信息)的编码,叫做限失真信源编码。
两种限失真传输
对于有失真信源编码,我们希望在不大于一定编码速率(即传输每信源符号所需的平均的位数) 的条件下,使平均失真限制到最小; 或者在平均失真不大于某个值的条件下,使编码速率限制到最小。
既然允许一定的失真存在,对信息率的要求便可降低。可以引入一个失真函数,计算在失真度一定的情况下传信率的极小值。
**误差或失真越大,接收者收到消息后判断信源存在的不确定性越大,获得信息量越小,信道传输消息所需的信息率也越小。**所以信息率与失真有关。为定量描述信息率和失真的关系,必须先规定失真的测度。
对信源发出的消息
进行有失真信源编码,经理想无噪声信道传输,到达信源译码器,输出为
。由于编码有失真,所以
不是
的精确复现。如果把从信源编码器到信源译码器的传输通道看成一个有噪声信道,这个信道称做试验信道,那么
和
就分别为试验信道的输入和输出。
因此可以通过研究试验信道的输入输出之间的互信息来研究限失真信源编码。
参考文献: