本专栏针包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:information-theory】,需要的朋友们自取。或者关注公众号【AIShareLab】,回复 信息论 也可获取。
在通信系统中,实际传输的是信号,但本质内容的是信息。信息包含在信号之中,信号是信息的载体。通信的结果是消除或部分消除不确定性,从而获得信息。
信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。
Question:除了上述的信息的特征,信息还有一些其他的特征,请选择下面哪些是信息的特征? (ACD) A. 信息非负 B. 信息可以是任意值 C. 信息具有可加性 D. 确定消息(事件)的所含信息量为零 解析:信息不可以是任意值。因为信息和任意值没有关联。
信息论是一门应用概率论、随机过程、数理统计和近代代数的方法,来研究信息传输、提取和处理系统中一般规律的学科,被称为“通信的数学理论”。
信息论是在信息可以量度的基础上, 研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。
主要研究信息的测度、信道容量以及信源和信道编码理论等问题。
主要也是研究信息传输和处理问题,除香农信息论,还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。
不仅包括上述两方面内容,而且包括所有与信息有关的自然和社会领域,如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题
主要研究利用统计数学工具分析信息和信息传输的统计规律。其具体内容有:
“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(Claude E.Shanon)在他的惊世之著《通信的数学理论》中的一句铭言。
香农应用数理统计的方法来研究通信系统,从而创立了影响深远的信息论。香农因此成为信息论的奠基人。
香农,1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。
在这两篇文章中, 香农解决了过去许多悬而未决的问题: **经典地阐明了通信的基本问题,提出了通信系统的模型,给出了信息量的数学表达式,解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。**两篇文章成了现在信息论的奠基著作。