香农，1948年：测量信息，实现可靠通信

本文由AI依据所引来源撰写并翻译。编辑方法与核查。

AI生成的概念插图，并非历史档案照片或定量图表。类似继电器的装置和光脉冲用于表现噪声中的通信，不对应1948年的某台具体设备。

1. 不同设备背后的共同问题

电报、口述语句与照片形式不同，却共享一个工程问题：在另一个地点重现选定的消息。电缆、无线电波或存储设备是实现这一目标的物理手段。接收方必须在载体存在缺陷的情况下区分各种可能。

香农的论文分两部分刊于1948年7月和10月的《贝尔系统技术期刊》。它在奈奎斯特、哈特莱等先前工作的基础上，同时处理信息源的统计特征与噪声。本文引用的MIT版本明确注明为经修正的重印本，并非原始两期杂志的影印件。S1, S2

这里的信息涉及“究竟选中了哪条消息”的不确定性，不是对意义、真假、效用或智能的评分。一条可预料的警告可能极其重要，却只带来很少的新统计信息。这样的限定使工程问题可以计算，并不意味着意义不重要。

2. 从不确定性到比特

设X为有限字母表上的符号，各符号概率p_i之和为1。结果i的意外程度，以及其平均值——熵——为：

$I_i=-\log_2 p_i.$Ii​=−log2​pi​.

$H(X)=-\sum_i p_i\log_2 p_i.$H(X)=−i∑​pi​log2​pi​.

对数以2为底，因此单位是每个源符号的比特数，并约定0 log₂0 = 0。两个等概率结果的熵为1比特；确定结果的熵为零。比特是信息单位，不是某个特定电压，也不必然等于一个印刷字符。

以一个具有五种符号的无记忆信息源为例，为常见符号分配较短码字：

$\begin{aligned} H(X)=\bar L&=\tfrac12(1)+\tfrac14(2)\\ &\quad+\tfrac18(3)+2\tfrac1{16}(4)\\ &=1.875. \end{aligned}$H(X)=Lˉ​=21​(1)+41​(2)+81​(3)+2161​(4)=1.875.​

任何码字都不是另一码字的前缀，因此无需分隔符便可译码。对于1,000个独立符号，期望长度为1,875比特，而固定三比特标签需要3,000比特，减少37.5%。这是在指定分布下的期望值，不计头部与传输开销，不保证每条消息都有相同收益。罕见符号反而需要四比特。S3

3. 压缩有明确的界限

对于已知的有限、独立同分布信息源，以n个符号为一组的最优二进制前缀码，其期望码块长度L_n满足：

$nH(X)\le L_n<nH(X)+1.$nH(X)≤Ln​<nH(X)+1.

$H(X)\le \frac{L_n}{n}<H(X)+\frac1n.$H(X)≤nLn​​<H(X)+n1​.

除以n可见，随着分组增大，超过H(X)的每符号额外开销可以很小。下界也适用于唯一可译码。这是无损编码，原消息能够被精确还原。存在相关性时，应在适当信息源假设下使用熵率，而不能自动套用单个符号的熵。S3

压缩利用可预测结构，不可能缩短所有二进制文件。短字符串的数量少于长字符串，因此某些输入必须保持原长度或变长。概率模型不符、文件过小，或传送码本的成本，都可能抵消实际节省。

4. 增加冗余以抵抗噪声

信源编码消除可避免的冗余；信道编码则有意加入有结构的冗余，使消息受扰后仍可区分。两者解决不同问题，并不矛盾。示意图将其分开解释，省略了物理调制和同步。

为本文制作的科学示意图，参考香农的通信系统抽象：先压缩，再进行保护性编码；译码顺序相反。箭头表示消息流向，不是实测信号，也不是时间刻度。

假设每个传输比特独立地以概率p = 0.1发生翻转。将逻辑0发送为000，将1发送为111，然后按多数表决译码。发生错误至少需要两次翻转：

$P_{\rm e}=3p^2(1-p)+p^3=0.028.$Pe​=3p2(1−p)+p3=0.028.

译码后的比特错误概率从10%降至2.8%，代价是每使用三次信道只能传送一比特信息。这个重复码展示了权衡，但并不接近香农极限。发送更多独立的三比特块，不会让其残余错误消失。如果错误相关或成串出现，这项具体计算便不适用。

5. 容量是速率界限，并非完美无误的承诺

本文考虑有限输入输出字母表上的平稳离散无记忆信道。每个输出Y的条件分布只取决于对应输入X。在转移规律固定、输入分布没有额外约束时，容量为：

$I(X;Y)=H(X)-H(X\mid Y),$I(X;Y)=H(X)−H(X∣Y),

$C=\max_{P_X} I(X;Y).$C=PX​max​I(X;Y).

$R=\frac{\log_2 M}{n}.$R=nlog2​M​.

这些式子中，M为等概率消息数量，n为一个码字使用信道的次数。在压缩界限中，n则表示源符号数，L_n是以比特计的期望长度。n的两种用法属于不同例子。

互信息I(X;Y)衡量观察Y后，关于X的不确定性减少多少。容量单位为比特/次信道使用。把等概率消息编码成长度为n的码块时，对任意固定且严格小于C的速率R，都存在一系列码，使码块错误概率随n增大而趋近零。在此模型中，高于C时不可能使错误趋近零。这是渐近的存在性结论，不保证有限长度下绝对无误，也不保证实现效率。S4, S5, S6

对于具有独立翻转概率p的二元对称信道：

$\begin{aligned} h_2(p)&=-p\log_2 p\\ &\quad-(1-p)\log_2(1-p). \end{aligned}$h2​(p)​=−plog2​p−(1−p)log2​(1−p).​

$C=1-h_2(p).$C=1−h2​(p).

$C(0.1)\approx0.5310.$C(0.1)≈0.5310.

等概率输入比特可以达到该容量。p = 0.1时，极限约为每次使用0.5310信息比特，而非0.9。错误位置未知会降低消息的可区分性。如果每秒使用信道1,000次，531.0 bit/s是渐近容量，不是应用层实测吞吐量。

6. 当带宽和功率进入计算

对于带宽受限的理想信道，若存在与信号独立的加性白高斯噪声，并约束平均信号功率，则：

$C=W\log_2\left(1+\frac{P}{N}\right).$C=Wlog2​(1+NP​).

$\begin{aligned} 3000\log_2(1001)&\\ &\approx29901.7\;\mathrm{bit/s}. \end{aligned}$3000log2​(1001)​≈29901.7bit/s.​

W是带宽，单位为Hz；P和N分别是信号功率及该带宽内的总噪声功率，须使用相同单位，例如瓦特。P/N是无量纲线性功率比，不是分贝值。若W = 3,000 Hz、信噪比为30 dB，则P/N = 10^(30/10) = 1,000，得到约29,901.7 bit/s，即29.90 kbit/s。这些是演示模型的参数，不是历史电话线路的实测性能。S1，定理17

该公式并非普遍适用于衰落、脉冲干扰、幅度限制或预先指定的有限星座。增加W还可能增加N，因此必须重新计算噪声功率，不能无依据地保持其不变。硬件、码长、时延和协议开销共同决定实际系统距离理想界限有多远。

7. 改变了什么，又不能说明什么

香农使两个定量问题得以分开：信息源产生多少信息，信道又能可靠承载多少信息？由此，设计可以与理论界限比较，而不只是与上一代设备比较。信息源与信道模型仍须由测量支持。

1948年的工作没有给出所有实用压缩算法与纠错码。后续研究，包括加拉格对编码错误概率的分析，进一步发展了速率、码块长度与可靠性之间的联系。该理论也不意味着随机数据有意义、压缩能够证明理解，或者增加算力便能在不改变假设的情况下突破容量。S6

它持久的贡献，是为约束下的不确定性提供了一种推理语言。面对界限，工程师可以明确模型、测量差距，再决定改进编码、信道还是目标。

本文的来源与核查

本文由AI系统依据所列来源以英文撰写并翻译。同一系统制作了科学示意图。数值例子通过代码重新计算，各语言版本由AI核查；不声称经过人工或独立专家审查。封面由ChatGPT Image生成。

基准版SHANNON-EN-1，2026年9月9日。已在线阅读所引1948年文献段落及后来的数学论述，并核查方程、假设、算术、唯一译码和各语言标注。例子是理论计算，不是实验。解释性示意图与生成封面明确区分。本说明描述本文实际准备过程，不认证自主发表能力。

来源

• S1 — C. E. Shannon — A Mathematical Theory of Communication (1948), corrected reprint
• S2 — Nokia Bell Labs — A Mathematical Theory of Communication
• S3 — M. Médard, MIT 6.441 (2010) — Lecture 5: codes, Kraft inequality, optimal codes
• S4 — M. Médard, MIT 6.441 (2010) — Lecture 8: channel capacity
• S5 — M. Médard, MIT 6.441 (2010) — Lecture 10: channel coding theorem
• S6 — R. G. Gallager — A Simple Derivation of the Coding Theorem and Some Applications (1965)