什么是香农 极限？（上）

前言

相信念过电机或者通信工程专业的人都知道什么是香农极限(Shannon Limit)，或称香农容量 (Shannon Capacity)。但是大多数人可能並不了解这一个重要的概念。这里我们就简单的介绍一下香农其人和他的这一个对包括光通信在内的所有通信科学都有开创性深远影响的理论。

1948年的大事

1948年的夏天世界上发生了二件大事，但是大多数人只听过其中一件，那就是美国贝尔实验室的威廉·肖克利（William Shockley) 在前一年点触晶体管（Point-Contact Transistor) 的基础上发明了双极晶体管（Bipolar Junction Transistor）开启了电子半导体的吋代。另外一件不太引起大众注意的事就是同在贝尔实验室工作的另一位32岁的年轻科学家克劳德·香农(Claude Shannon)发表了一篇里程碑式的划时代的文章-通信的数学理论（A Mathematical Theory ofCommunication)，开创了信息论（Information Theory），后来被尊称为信息论之父。

香农的求学时代

香农1936年畢业于美国密歇根大学得到电机工程和数学双学士学位。1936年20岁他进入麻省理工学院（MIT) 电机工程系研究所继续攻读电机和数学。1938年在他的硕士论文“继电器和开关电路的符号分析（A Symbol Analysis of Switching Circuits）里，他发现不论是简单或是复杂的串并联继电器电路都可以用布尔代数（Boolean Algebra) 来代表和演算，甚至可以推广到任意复杂的网络，等于是把数位电路设计从艺术转变为科学。这篇短短25页的论文被哈佛大学教育学院的一位教授评为可能是廿世纪最重要的一篇硕士论文。香农在1940年获得MIT的博士学位，他的博士论文是“理论遗传学代数”(An Algebra for Theoretical Genetics)，论文的主要目的是开发一个遗传代数，用来预测以任意频率开始的人群其后代的基因组成，用他的话说，“在本论文中，我们将努力发展一种特别适合孟德尔人口动态问题的代数”。

普林斯顿大学高等研究院

1940年香农进入普林斯顿大学高等研究院做博士后研究，並因此有机会和一些有名的数学家和物理学家如约翰·冯诺伊曼（John von Neumann）和爱因斯坦在一起切磋讨论。冯诺伊曼对数学、化学、物理学、计算机学都有贡献，被认为是现代计算机之父，也对美国原子弹和氢弹的设计成功贡献重大，他的数学理论还造成了DNA的发现，而爱因斯坦更是家喻户晓的偉大物理学家。香农就在这样浓厚学术研究气氛的环境下自由自在的专研各类学术研究，也提供了他日后那篇重要论文萌芽的土壤。

香农加入贝尔实验室

1941年二次大战期间香农加入了贝尔实验室，职位为理论数学家，研究火砲控制系统和密码加密技术等国防科技。1943年他在此遇到了来访的英国计算机科学家、数学家、密码学家、哲学家和理论生物学家的艾伦·图灵（Alan Turing）。像香农之前遇到冯诺伊曼一样，图灵也是一位有如文艺复兴时期的大师级人物，在许多科学领域都很有成就。图灵1934年毕业于英国剑桥大学国王学院数学系，1938年得到美国普林斯顿大学的博士学位之后就回到了英国，冯诺伊曼当时曾想要留下他做博士后研究计算机。图灵被公认为是理论计算机科学和人工智能之父。由图灵领导的密码破译专家团队破译了许多德国纳粹的密码，包括改进了一部用来破译纳粹命名为”谜”（Enigma）的密码器的机电计算机，对盟军大西洋对德潛艇战和二战的胜利提供了重大贡献。2014年美国好莱坞的电影The Imitation Game讲述的就是这个故事。图灵发明的计算机架构也对冯诺伊曼架构产生了巨大影响，冯诺伊曼架构被公认为世界可储程序计算机兩大架构之一，另外一个则是哈佛架构。1943年初和图灵那两个月的相处，也给了香农很大的启一发。香农自己也是多才多艺，对人工智能也有研究。后来在1950年发明了会自己走出迷宫的电动老鼠，又发表了一篇论文证明西洋棋具有10的120次方的复杂度，和一篇世界上最早的有关如何写程序教电脑下西洋棋的论文。或者说香农其实是一个对电机领域比较了解的应用数学家，使用数学方法来分析、量化和解决其他领域的问题。在贝尔实验室同事眼中，香农也以幽默和恶作剧而闻名。他还发明了诸如火箭动力飞盘，投掷火焰的小号，独特的独轮车，还有一些机械微型玩偶。他经常被看到在贝尔实验室的大厅里骑他自己发明的独轮车。