书 · 1949 · 克劳德·E. 香农、沃伦·韦弗

《通信的数学理论》

计算机与 AI书单第 40 名

一句话结论

把通信看成从许多可能消息中辨认出实际消息，香农由此推导出压缩与可靠传输的极限；韦弗则讨论这套理论对意义和交流效果可能有什么启发。

值不值得读完整本？

值得完整读，但可以分两遍：先读懂问题、例子和定理的含义，再补证明。对计算机与 AI 读者，它最值得学的是如何从概率结构推出能力边界。

先读韦弗篇的三节，了解技术准确性、意义与效果的区别，同时留意哪些是解释和展望。
重点细读香农篇的引言、第一部分与第二部分：熵、信源统计、无噪声编码和有噪声信道定理构成全书骨架。
第三、第四部分涉及连续分布、波形与信道容量，需要概率和微积分基础；第一遍可暂跳部分推导，但应读懂公式的适用条件。
第五部分不要跳过：允许多大失真，会改变需要传输多少信息，这是理解全书的重要一环。附录证明可以留到第二遍。
配合小练习阅读：比较不同概率分布的熵，设计简单变长编码，并解释压缩为什么减少冗余、纠错为什么又增加冗余。

核心观点

1. 先把传得准确与理解意义分开

香农研究的是怎样在接收端准确或近似地重现发送端选出的消息。韦弗另行区分符号传递、意义传达和行为效果三个层次，并讨论它们的联系。

为什么：通信设备必须在消息尚未选出时就设计好，所以它需要应付一组可能消息，而不只是某一句话。把消息表示成符号及其出现概率，就能比较文字、声音和图像的传输要求。暂时搁置意义，使共同的工程约束能够被精确定义。韦弗认为这些约束也影响意义和效果，但他的扩展讨论不等于香农已经证明了一套理解意义的理论。

2. 熵衡量的是平均不确定性

信息量取决于可能出现什么以及各自多大概率出现；离散信源的熵是各结果负对数概率的平均值。对于有前后依赖的消息序列，还要考察这种依赖下的每符号熵率。

为什么：等可能的选项越多，辨认实际结果需要消除的不确定性越大。独立选择合在一起时，可能组合数相乘，而所需信息应当相加，因此对数是一种自然的尺度。香农进一步要求度量连续，并且把一次选择拆成几步时得到一致结果，由此确定熵的形式。若前文已经使后文容易预测，后文带来的新增不确定性就会下降，所以不能只数符号种类或文本长度。

3. 无损压缩利用可预测性，但受熵限制

在书中所考虑的信源条件下，适当编码可以让平均表示长度逼近信源熵率。编码能够减少表示中的浪费，却不能把需要区分的消息普遍压到熵率以下并仍然无损恢复。

为什么：常见消息使用短表示、少见消息使用长表示，可以降低平均长度。把许多符号一起编码，还能利用单个符号编码遗漏的统计规律。长消息的概率主要集中在一批具有代表性的序列上，编码必须给这些序列保留足够多的可区分表示。若可用表示太少，就无法逐一对应这些消息；若稍多一些，便有机会逼近极限。

4. 有噪声仍能可靠通信，关键在容量与编码

有效传输的信息，是输入的不确定性减去看到输出后仍剩下的不确定性；用现代术语说就是互信息。信道容量是合适输入选择下这一信息速率的最大值，低于容量时可通过适当编码把错误概率降得任意小。

为什么：输出的变化有些来自输入，有些来自噪声，因此不能把输出越随机理解为传得越多。接收后仍无法确定输入的部分必须扣除，才能衡量真正建立的联系。把消息编成长码块，并只使用全部可能信号中的一部分，可以让不同消息造成的接收结果更容易区分。香农用统计论证说明，速率低于容量时存在越来越可靠的编码。超过容量则无法同时维持该速率与任意高的可靠性，而定理也不保证短码、低延迟或容易实现。

5. 连续信道的极限取决于带宽、功率和噪声

连续波形也可以放进同一套概率分析中。在带宽为 W、平均信号功率为 P、独立加性白高斯噪声功率为 N 的模型下，容量为 C＝W×log₂（1＋P/N），单位是比特每秒。

为什么：一定时间内的带限波形可以用一组采样坐标表示，因此波形通信可以转化为高维空间里区分不同信号的问题。带宽影响可用的自由度，功率约束限制信号可以占据的范围，噪声则让接收结果在原信号周围散开。可靠传输要求这些散开的结果仍能被区分，从而产生容量上限。连续分布的熵本身依赖测量尺度，不能直接当成所需比特数；在这里，输入与输出之间相关的熵差才给出传输信息。

6. 允许多少失真，决定需要传多少信息

连续信源的信息速率不能脱离重现质量要求单独确定。先规定可接受的失真，再寻找满足这一要求所需的最低信息速率，才得到有用的传输目标。

为什么：要求逐点精确恢复连续数值，与只要求足够接近，是不同的任务。允许一定误差，就能让若干不同的原始消息共用一个重现结果，减少必须区分的情况。香农用保真度评价约束这种合并，再在满足约束的重现方式中寻找最低速率。保真要求越严格，可合并的情况通常越少，最低所需速率也就不会降低。由此可以比较信源的质量要求与信道容量是否匹配。

反对意见

语义内容需要另一种度量（卡尔纳普、巴尔-希勒尔）

Rudolf Carnap 与 Yehoshua Bar-Hillel 在《An Outline of a Theory of Semantic Information》中指出，通信数学理论主动搁置意义，不能直接从它推出语义结论。他们从命题及其逻辑概率出发研究信息内容：要回答一句陈述排除了哪些可能情况，需要另一套分析。这是在划分研究对象，并非否定香农的工程定理。

信息还应联系接收者如何改变（麦凯）

Donald M. MacKay 在《Information, Mechanism and Meaning》中关注信息如何改变接收者的表征和行动准备状态。同样一段信号，对已有知识和任务不同的人可能产生不同作用，因此传输了多少统计信息，不能独自说明接收者理解了什么。这条路径把研究重心移向接收者及其使用信息的过程。

真实认知中的备选项未必列得出来（格雷戈里）

Richard L. Gregory 在《Whatever Happened to Information Theory? (2)》中指出，严格使用信息论，需要知道接收者面对哪些可能选项。但人在感知和理解时，可考虑的选项往往难以完整列举，相关概率也难以确定。因而把认知过程写成信息选择问题之前，必须先解决模型如何确定的问题。

搬用术语不能代替跨领域成果（香农）

香农在《The Bandwagon》中警惕信息论受到追捧后，研究者仅靠信息、熵、冗余等术语便声称解释其他领域。他要求跨领域应用给出明确假设、实际问题和可检验的结果。这也提醒读者：韦弗提出的广泛启发，需要进一步研究才能成为可靠结论。