深度 | 数字通信领域的天才香农：早在八十年前他就开启了信息时代
香农留给了世界很多的知识遗产，他除了找到了通信的数学基础，更重要的是他揭示了信息的本质，给人类带来了一种新的世界观。
撰文 | 吴 军
1937 年秋天，一位 22 岁的年轻人千里迢迢从麻省理工学院跑到了美国首都华盛顿特区进行他的硕士论文答辩。这种情况在美国其实非常罕见。在美国，硕士论文并不太重要，因为绝大部分硕士生根本不需要发表论文就可以获得学位。
少数选择发表论文的硕士生，其论文水平也远远无法和博士论文相比。美国高等教育对硕士生的要求， 只是掌握足够多的专业知识，将来能从事相应领域的工作。而对博士生的要求，则是需要他们对人类的知识体系有所贡献。正是在当时的学术气氛中，这位年轻人奔赴千里只为一场非必要的答辩就显得更加异乎寻常了。
克劳德·香农，图片来自interaliamag.org
非常之事的发生必有其原因。一方面，这位学生的导师非常特殊，他叫万尼瓦尔·布什（Vannevar Bush），是美国 20 世纪最重要的科技管理者之一。作为美国的第一任总统科技顾问，布什不仅创立了美国国家科学基金会，还参与制定了美国政府支持和管理科学研究的基本国策。这项国策沿用至今，确保了从第二次世界大战开始美国的科技水平始终遥遥领先于世界。另一方面，则是因为那篇答辩的论文很重要，它很有可能彻底改变世界，布什希望有更多的专家听一听， 所以给了这位年轻人到首都来汇报研究成果的大好机会。
至于这位年轻人的工作在历史上具有何等的重要意义，就要从他一年多前进入万尼瓦尔·布什在麻省理工学院的实验室说起。
一位天才的横空出世
1936 年，这位 21 岁的美国青年在密歇根大学读完了两个本科学位后，来到了麻省理工学院跟随布什做硕士研究的课题。布什不仅是一位杰出的科技管理者，也是非常著名的电子工程专家，他设计了当时世界上最复杂的微分分析仪。那是一台机械模拟计算机，可以通过一堆机械轮盘的运转来进行微积分计算，求解微分方程。在电子计算机还没有出现的年代，它算得上是最精密的实用计算设备。这位 21 岁的新生一来，布什就安排他管理微分分析仪。很显然，这表明布什对他格外重视。
还没有走进实验室，这位新生就听到屋内传出了嗡嗡的巨大响声。打开实验室的大门，他看到一台巨大的机器正在运行（ 见图10—1）。那台机器设计得十分精巧，也极为庞大而复杂，它在某种程度上解决了当年巴贝奇想解决而不能解决的问题——让机器完成微积分和解微分方程的运算。但是，它不具有埃达和巴贝奇所设想的灵活性。因为它每次计算不同的问题，设备结构都需要重新搭建一遍，这就让它的实际使用价值大打折扣。为了解决这一问题，布什想发明一种新的分析仪，通过一些开关自行调整仪器的结构——激活一些新的功能，同时也关闭另外一些不需要的部分。过去这件事往往是通过工人操作螺丝刀来完成的，如今布什希望用开关来取代螺丝刀，而且用问题本身来控制开关。因此，他把这位新生带进了实验室，希望这位年轻人能够用他的聪明才智帮助自己解决这个困扰许久的问题。
图 1 微分分析
在接下来一年多的时间里，这位硕士生每天都会穿过麻省理工学院那条“没有尽头的走廊”[1]，来到13 号楼[2]那间成天机械噪声嗡嗡作响的实验室，构想如何才能用开关来控制那台十分复杂的机器。当时，人们已经开始广泛使用继电器来控制电路的连通与断开——当给继电器通电时，它就可以打开一个电路。人们通过这种方法用电流控制非常复杂的电路，以此决定哪部分工作、哪部分闲置。至于如何控制那些需要很复杂的逻辑才能激活或者关闭的电路，实现起来就颇费周章了。
接受了布什交给的任务，年轻人那天才的大脑便开始了高速运转。他想到了在大学时学到的数理逻辑，也就是我们前面介绍的布尔代数。当时他学习这些内容，并不是在数学或者电路课堂上，而是源自哲学课的一部分。由此可见，通识教育对一个人的重要性。现在， 那门哲学课所教授的知识即将派上用场。
这位硕士生很快就发现，所有控制开关的复杂逻辑，其实就是布尔代数中那几种简单逻辑的组合而已，而且控制开关完全可以通过继电器来实现。只要用继电器实现了布尔代数中的“与”“或”“非”这三种简单的逻辑，就能满足各种要求，对各种电路进行控制。于是， 这位硕士生搭建了一个装满了各种继电器开关的控制箱，来控制复杂的微分分析仪。最终他出色地完成了导师交给的这项艰巨任务。但是，完成任务的意义远不止于此，因为它开创了一个完全崭新的时代。在此之前，电路的设计完全靠经验，在此之后，人们只要把控制电路的逻辑用布尔代数写成一个方程式，就能够按部就班地用最简单的开关电路搭建出结构和功能十分复杂的机器。为了证明这一点，这位硕士生用自己的方法搭建了一个控制电路，只需要两个并不复杂的步骤就能完成。而在此之前，他的同事靠经验完成这件事则需要 11 个步骤。从此，人类对电路的设计从自发状态上升到了自觉状态，设计电路不再凭直觉和经验，而是靠方程式和任何人都能学会的简单规则。
随后，这位年轻人进入闻名遐迩的 AT&T 公司的贝尔实验室完成了他的实习。在实习期间，他接触到了通信网络和交换机技术， 这些启发他开始思考微分分析仪、电话网络和布尔代数之间的共性。但是，他给那个世界上最出名的实验室带去的价值，远超他的收获， 而且大得多。贝尔实验室的科学家也在探索这位年轻人在硕士期间已经解决的问题，但是没有找到答案；而这位年轻人的出现，则给那些科学家带去了深刻的思考，即电路设计和数学的关联。此外， 他还让那些科学家看到，数学和逻辑其实是一回事，它们都可以通过一些简单的方法，也就是布尔代数在同一个平台上实现。从此，AT&T 公司在它的核心业务方面获得了巨大的改进，它运用数学将全世界的电话网络运营成本降低，且运行更加稳定。
在完成实习之后，这位年轻人开始思考一些更本质的问题。因为他所提出的开关电路不仅能够控制微分分析仪完成计算，而且它本身就可以实现二进制计算。比如，我们将开关的连通和数字 1 对应起来，将断开和 0 对应起来，那么，我们就很容易实现一个如下逻辑的开关电路。
也就是说，当两个开关都处于连通或者断开状态时，整个电路是断开的；当两个开关一个是连通另一个是断开时，整个电路被连通。这种逻辑被称为“异或”。这样的电路有什么用呢？其实它可以用来实现二进制的加法。我们知道，在二进制中：
如果，我们把关注点集中在结果的个位数上，就会发现它和“异或”电路的结果完全相同。当然，在进行二进制 1 1 的时候还会有进位，这个问题也可以用开关电路来实现。如果我们回顾一下布尔代数中的“与”逻辑，就会发现进位和“与”逻辑实际上是保持一致的。因为只有当两个加数都是 1 时，进位才为 1，否则就是 0。
这样，利用简单的“异或”逻辑和“与”逻辑，就可以实现二进制的加法——个位数上的结果取决于“异或”逻辑运算的结果，而进位取决于“与”逻辑运算。二进制的乘法就更简单了，它本身就是“与”逻辑。四则运算中的减法和除法，又分别是加法和乘法的逆运算，它们也很容易用开关电路来实现。至于其他运算，则可以用数学公式变成四则运算，这样所有的运算都可以用简单的开关电路来实现。有意思的是，开关电路背后则是半个多世纪前就被提出的，但是人们一直没有找到有直接用途的布尔代数。再后来，人们发现布尔代数中的“与”“或”“非”逻辑，以及我们前面提到的“异或”逻辑，
都可以用一种被称为“与非”的逻辑来实现。也就是说，我们甚至不需要实现“与”“或”“非”三种基础的逻辑电路，只要设计出一种简单的电路来实现“与非”逻辑，就能用它作为基本模块，来搭建能够完成所有计算的各种复杂的电路。
这位年轻人后来还证明，世界上所有的信息都可以用两种符号来表示，比如 0 和 1。于是，所有的信息处理、存储和传输，从本质上讲，就是两种符号和一种简单的（与非）逻辑。至此，信息处理就有了真正的数学理论基础。这个基础的重要性堪比几何学中的公理，在此之上才有了今天完整的信息科学。
这位硕士生在通过硕士论文答辩之后，并没有在第一时间把论文交回学校，而是开始从事更重要的事。第二年（1938 年）他将硕士期间的研究成果发表在美国电气与电子工程师学会的学报上。一直到三年后他才把这篇硕士论文《继电器和开关电路的符号分析》交回麻省理工学院，并且签上了自己的名字——克劳德·E. 香农。同一年， 香农获得了美国工程师学会的诺布尔奖[3]，这是一年颁发一次，并且只授予一位 35 岁以下英才的工程奖项。
香农的这篇硕士论文毫无争议地被誉为 20 世纪最重要的硕士论文，甚至有的学者认为，这可能是有史以来最重要的硕士论文。因为我们今天所有数字集成电路设计最底层的原理都写在了这篇论文中。从此，人类信息处理进入数字化时代。
不过，这篇论文并没有涉及如何运用程序来控制那些复杂的计算，而同一年一位英国的天才恰好给出了解决这个问题的数学模型。这两位天才很快在贝尔实验室相聚了。
天才的聚会
图 2 在美国国家密码博物馆的 SIGSALY 语音加密系统展览
在那个还没有计算机的时代，要利用电子管搭建一个能完成上述功能的电子系统是一件工程量和难度都相当巨大的事情。SIGSALY 系统重达 45 吨，占地面积 250 平方米，建造费用高达 500 万美元，是世界上第一台电子计算机埃尼亚克的 10 倍。不仅如此，SIGSALY 工作起来耗电量也大得惊人，整个房间需要日夜不停地开着空调来降温。为了传输一毫瓦的（语音）信息，居然要消耗掉 30 千瓦的电。
即便如此，SIGSALY 还是创造了很多项世界第一。这种对语音进行加密的语音系统被称为声码器，至今军队的保密电话依然采用声码器来加密。SIGSALY 还第一次对电话进行了脉冲编码调制（PCM），这是今天数字电话所用的技术，只不过我们平时用的电话不需要加密而已。此外，SIGSALY 也是世界上第一个语音合成系统。香农是 SIGSALY 小组的 20 多位成员之一，他负责检验各种加密算法，以保证 SIGSALY 系统加密后信息的安全。
在第二次世界大战期间，美国几乎所有的顶级科学家，包括爱因斯坦、冯·诺伊曼、奥本海默、恩利克·费米、欧内斯特·劳伦斯和阿瑟·康普顿等人都参与到和战事直接相关的各种应用研究中。在这个过程中，诞生了核反应堆、原子弹、回旋加速器等现代科技成就， 更重要的是诞生了三个我们使用至今的理论（或者说新学科）。它们分别是维纳的控制论、冯·诺伊曼的计算机系统结构和香农的信息论。当然，它们诞生的方式完全不同。维纳的控制论，早在 1935 年他还在清华大学任教时就有了雏形，到了二战时他想为战争做点儿事情，于是将那些初具雏形的理论用在了火炮控制上，并最终成形。使用至今的冯·诺伊曼系统结构，纯属冯·诺伊曼这位超级天才无心插柳的行为。他在研制氢弹时需要用到计算机，但发现从事计算机研发的人完全走错了路，于是他提出了自己构建计算机的思路。香农建立信息论和这两位成名已久的大人物完全不同，他只不过是在参与SIGSALY 项目时，思考了别人根本不曾思考的理论问题，或者说信息技术的数学基础问题，然后找到了答案。
香农并非 SIGSALY 项目的负责人，他甚至没有被告知自己所做的加密研究最终将应用于何处，因为 SIGSALY 在当时是绝密项目。不过，这项工作让香农接触到了语音编码、通信和密码学，并让他对此产生了十分浓厚的兴趣。当时，几乎所有的密码学家都把密码学当作一门非常实用的学科，即利用技巧设计一个可以用得上的密码系统，或者找出其他密码系统的数学破绽。但是，香农所思考的则是与密码学相关的数学和哲学问题。他写的密码学论文并没有涉及太多具体的密码方法，因此当时的密码学专家对此并不十分感兴趣。不过， 在战争期间，香农还是有自己无话不说的知己的。
从 1942 年开始，在很长一段时间里，大家可以看到有两个年轻人经常在贝尔实验室的咖啡厅喝茶聊天。他们是 20 世纪两位不世天才——香农和图灵，后者是作为英国密码项目访问团成员来到美国的。图灵当时才 30 岁，而香农也仅仅 26 岁。贝尔实验室当时很想把图灵留下来，他本人也很愿意留下来，但是美国安全机构对此有所顾虑，因为它不太想让外国人插手军方密码这样高度机密的研究。
这两位年轻人在情报界的名气让他们的会面充满了神秘色彩。后世的记者和传记作家总在试图了解他们当时到底谈论了什么，但遗憾的是，不曾有任何人记录了只言片语。有一点可以肯定的是，由于双方的工作都属于各自国家的最高机密，他们都没有谈及自己正在从事的工作细节，也没有打听对方在做什么。很多年后，记者在采访香农时又问及这个问题，香农讲：“我们一点儿也没有谈到密码学……一个字都没有交流过。”当被问及是否能猜出对方在做什么的时候，香农讲道：“我或许能猜到他所做的那些工作，但是肯定不知道具体的细节。我不了解（图灵所破译的）恩尼格玛机，也不了解他（图灵） 在其中是什么角色。”
事实上，香农和图灵当时谈论得更多的是哲学层面的一些问题， 比如能否让机器像人类那样产生智能。几年后，也就是 1950 年，图灵提出了判定机器是否具有智能的方法——图灵测试。而到了 1956年，香农则和明斯基等 9 位科学家一起，提出了人工智能的概念。很多人都在猜测，如果这两位天才当时能够讨论密码学问题，其卓绝的智力碰撞也许能产生惊人的成就。事实证明，像密码技术这样的研究课题，对他们而言，实在是微不足道。虽然密码学在二战时特别重要，但是像香农和图灵这样超级聪明的头脑，应该用于思考关于人类的更重大的问题。事实上，关于密码学最根本的理论，香农在二战期间已经于无意中彻底地解决了。真正让这两位年轻人经常坐到一起喝咖啡的原因，不是在某一个领域的共同语言，而是对彼此才华和思想的欣赏。图灵非常仰慕香农的多才多艺，香农精通很多领域的知识， 堪称科技领域的哲学家，这样的人在英国很少见。同样，香农对图灵精深的思想赞叹不已，丝毫不掩饰自己对图灵的赞许。他常常向周围的人们讲：“图灵有伟大的思想，他非常了不起。”
不过，二位天才间这类随机的讨论对香农创立信息论是否有所启发就不得而知了。图灵当时在破译德国的恩尼格玛密码机时发现了对方密码的一个破绽，就是加密后的密文并不具有完全的随机性，以至有些常用的字符可以被推测出来，这就大大降低了英国人破译德国密码的计算量。比如，德国人习惯于使用X 取代单词之间的空格符“ ”（空格），这对密码设计来讲是一个十分致命的破绽。因为空格符是文本中最常见的符号，能够帮助阅读者理解文本含义。香农在从事了一段时间的密码学工作之后，就开始从具体的问题进入了更深层次的思考，他从信息的角度给出了密码学两个最根本的指导性建议。
首先，任何密码在使用一段时间后都会有泄露的可能性，唯一不会被破译的密码就是一次性密码。当然，在香农的那个年代，使用一次性密码是根本不可能实现的事情，但是它成了今天量子通信的最重要亮点。
其次，加密后的密文要力求做到完全的随机性，这样即使对方截获了密文，他们也不可能从密文中分析出任何有用的信息。在后来正式提出信息论之后，这个理论就被描述得更加清晰了。假如在对方截获密文之前所了解的信息量是 I，而在截获密文之后所得到的信息量是 I’，那么对方获得的信息增量就是：
ΔI=I’—I
ΔI 要尽可能的小，最好等于零。这样，无论对方截获密文与否， 对我们的了解都不会有任何明显的变化。
为什么要让密文看上去完全随机呢？因为完全随机的信号中所包含的信息增量最少。而且，任何不是随机的密文都会多少泄露一些信息。因此，像恩尼格玛密码机那样的加密方式，因为所产生的密文并不具备完全的随机性，是有十分严重的破绽的。
和图灵一样，香农对密码这种智力游戏有着天生的兴趣。他还是孩子的时候，就一个人成功破解了爱伦·坡小说《金甲虫》中的一段密码。那段密码是用各种奇怪的符号写成的，但是那些符号有着和英语相同的统计规律。它们虽然看上去是密文，其实却包含了和明文相同的信息，而且这个信息可以轻易地被提取出来。或许是因为任何能够归纳出统计规律的加密对他来讲都太容易破解，所以他对密文一定要具有随机性这件事才有特别深刻的体会。
在香农之后，密码学演进出了十分坚实的理论基础，密码才开始真正变得安全了。虽然“冷战”持续的时间要比二战长了 40 年，其间密电文的数量比二战时多出了很多，但是却没有像二战时那样，双方不断地成功破译对方的密码。
当然，如果香农只是一个在密码学领域有所建树的理论家，他就不可能获得今天在信息领域人人皆知的名气。他所做出的更大贡献在于，他发现了密码学其实和通信在原理上根本就是一回事，并且提出了通信的数学原理。
噪声信道：通信数学模型的基础
在香农以前，从事密码工作的人和从事通信领域的人常常是两类截然不同的人。像贝尔、马可尼这些人根本不懂密码学，而雅德利等人也根本不懂通信。这两类人相安无事地在各自的领域工作了多年， 也没有觉得对方所擅长的领域和自己有什么关系。但是在香农之后， 这两个领域就开始变得互通了，因为香农发现了它们共同的规律。香农在《保密系统的通信理论》（Communication Theory of Secrecy Systems）一文中这样写道：“密码系统和有噪声的通信系统没有什么不同。”
这个结论对于外行来讲只是一个陈述，但是对于这两个领域的从业者来讲，却是一语道破天机。事实上，只要我们对比一下密码传输和通信各自的工作方式，就不难明白为什么香农这么说了。
图 3 显示的是典型的通信过程。在这个过程中，讲话人先发出信息，信息可以是语音，也可以是文字，然后经过调制变成通信线路能够传输的信号，比如电话线中的电信号，或者无线电广播中的电磁波。接下来，这些调制后的信号经过信道进行传输。这个信道可以是铜导线、大气，也可以是光纤。当信号到了接收方时，先要进行解调。这个工作由接收器完成，比如我们日常使用的收音机、电视机都是解调器。经过解调后，收听人才能明白讲话人原来要表达的信息。
图 3 有噪声信道的通信过程
上述通信过程由于无法完全避免噪声的出现，以至接收方所获得的信息可能和发送方想传递的信息出现不一致的情况。比如，当我们和朋友在饭馆里吃饭聊天时，如果周围的环境非常吵闹，我们就可能无法听清朋友说话的声音。这就是因为信号在空气这个信道中进行传输时，噪声被加了进来，和信号混在了一起，以至我们难以识别讲话人在讲什么。
真实的信道永远是有噪声的。其实电话通信、无线电通信的情形和我们在吵闹的饭馆里聊天差不多，电线中随机的脉冲和电压的波动，大气中的宇宙射线和周围无线电设备的干扰，都是影响信息有效传递的噪声的来源。噪声信道的假设是现代通信理论的基础，它对于通信的重要性，就如同欧几里得公理对于几何学，亚当·斯密关于人是理性和自私的假设对于经济学一样。在香农之前，人们并没有认识到噪声是通信的天然属性，还在持续不断地努力研究，希望造出一种没有任何噪声的信道，或者让通信不受噪声的干扰。但是香农十分明确地告诉大家，这些努力都是徒劳的。当传输的距离不断加长后，信号的强度也在持续减弱，而噪声的强度并不会因此有丝毫下降，于是在超过一定的距离之后，接收方常常会觉得信号消失了。其实，信号本身其实并没有消失，它们只是变弱了，甚至被彻底地掩埋在噪声之下，让人们无法辨认。当然，如果我们对噪声有足够多的了解，就可以反向叠加同样的噪声，将噪声抵消掉。今天各种高端去噪声的耳机用的就是这个原理。
接下来我们再来看看加密和解密的过程（如图4 所示），就能理解它和基于噪声通道的通信之间的一致性了。
图4 加密和解密的过程
在图4 中，我们要将信源发出的信息进行加密，然后把密文送到信道中传输。这时，信道中传输的信号是由原有信息和密钥叠加后生成的，这和有噪声信道中传输的信息由信号和噪声叠加而成是一个道理。接收端在收到密文后，由于他知道应该用什么密钥解密，因此可以将密钥从密文中分离，恢复原有的信息，这就如同我们在了解噪声之后可以消除噪声一样。
但是对于截取信号的窃密者来讲，由于不知道密码，就无法破解密文，信息被淹没在噪声中，无法分离出来。由此可见，加密和解密其实和噪声信道的通信是一回事。
不仅密码传输和噪声信道的通信在过程上是一致的，而且所用方法在理论基础上也是一致的。
对于正常的通信来讲，我们希望噪声尽可能低，信号尽可能强。这样，我们就无须过滤噪声，也无须知道噪声的来源，就可以收到信号源发出的信息。这就是我们在嘈杂的饭馆里说话需要大点声的原因。香农提出了一个信噪比的概念，即信号的能量和噪声能量的比值。当信噪比太低时，我们就无法准确地辨认对方传来的信息。因此，改进通信系统的目标则是提高信噪比。
密码设计的原理和有噪声下的通信原理是相同的，但是追求的目标却相反。密码的设计者，要想方设法让密文在外人看来完全是噪声，没有任何有价值的信息。从这个意义上讲，加密就等价于在信号中加入噪声。那么什么样的密码是安全的呢？香农指出，加入最难去除的噪声所对应的密码最安全。那么，什么是最难去除的噪声呢？答案是白噪声。它们是一种完全随机的信号，在不同频率下具有相同的强度，没有任何可以辨别的特定性质。因此，想将白噪声从信号中甄别出来并且彻底去除，根本无从下手。基于这个原理，香农指出，安全的加密方式是要让密文看上去像白噪声，各个字符出现的频率都相同，找不到任何统计规律，解密者对此就无能为力了。这时，如果我们衡量一下密文的信噪比，它近乎为零。
在理解了密码和噪声信道的通信具有相同的原理之后，香农进一步建立了描述通信原理的数学模型，这个模型后来被称为香农公式。这个公式对通信的意义类似于热力学第二定律之于热力学——它不仅指出了通信的极限，而且告诉了人们改进通信的方向。从那时开始， 人类在通信领域，从被动自发的状态开始进入主动自觉的状态。
香农为通信建立的数学模型，后来也成为人工智能的理论基础。
20 世纪 70 年代，弗雷德里克·贾里尼克等人利用噪声信道的通信模型，解决了语音识别、机器翻译等一系列人工智能问题。直到今天， 这个模型依然被广泛地应用于信息产业的方方面面。
注：本文节选自吴军撰写的新书《信息传》，原文标题为“开启信息时代的天才”。
注释：
[1].这是人们给那条长上百米、贯穿麻省理工学院 4 栋大楼的走廊起的名字。
[2].麻省理工学院的人习惯于用数字给所有的东西起名字。
[3].诺布尔奖（Alfred Noble Award）和诺贝尔奖（Nobel Prize）在拼写上很相似，以至很多人会把它们搞混，但它们完全是两回事。
制版编辑 | 栗子
赛先生
启蒙·探索·创造
如果你拥有一颗好奇心
如果你渴求知识
如果你相信世界是可以理解的