Шеннон, 1948: измерять информацию, чтобы передавать её надёжно

Статья написана и переведена ИИ на основе указанных источников. Редакционный метод и проверки.

Концептуальная иллюстрация, созданная ИИ, не архивная фотография и не количественная диаграмма. Устройства, похожие на реле, и световые импульсы изображают связь при шуме, не документируя конкретный аппарат 1948 года.

1. Общая задача разных устройств

Телеграмма, произнесённая фраза и фотография различны, но имеют общую инженерную задачу: воспроизвести выбранное сообщение в другом месте. Кабель, радиоволна или накопитель служат физическим средством. Получатель должен различать варианты несмотря на несовершенство среды.

Статья Шеннона вышла двумя частями в Bell System Technical Journal в июле и октябре 1948 года. Развивая работы Найквиста, Хартли и других предшественников, она рассматривала статистику источника и шум. Цитируемая копия MIT прямо обозначена как исправленная перепечатка, а не факсимиле двух исходных выпусков. S1, S2

Информация здесь относится к неопределённости относительно выбранного сообщения. Это не оценка смысла, истинности, полезности или интеллекта. Предсказуемое предупреждение может быть жизненно важным, но содержать мало новой статистической информации. Такое ограничение делает инженерную задачу вычислимой, не объявляя смысл неважным.

2. От неопределённости к битам

Пусть X — символ конечного алфавита с вероятностями p_i, сумма которых равна единице. Неожиданность исхода i и её среднее, энтропия, равны:

$I_i=-\log_2 p_i.$Ii​=−log2​pi​.

$H(X)=-\sum_i p_i\log_2 p_i.$H(X)=−i∑​pi​log2​pi​.

Логарифмы имеют основание 2, поэтому единица энтропии — бит на символ источника; принимается 0 log₂0 = 0. Два равновероятных исхода дают энтропию 1 бит, достоверный исход — ноль. Бит — единица информации, не определённое напряжение и не обязательно печатный знак.

Рассмотрим иллюстративный источник без памяти с пятью символами. Частым символам назначим короткие кодовые слова:

$\begin{aligned} H(X)=\bar L&=\tfrac12(1)+\tfrac14(2)\\ &\quad+\tfrac18(3)+2\tfrac1{16}(4)\\ &=1.875. \end{aligned}$H(X)=Lˉ​=21​(1)+41​(2)+81​(3)+2161​(4)=1.875.​

Ни одно кодовое слово не является префиксом другого, поэтому разделители не нужны. Для 1 000 независимых символов ожидаемая длина составляет 1 875 бит вместо 3 000 при фиксированных трёхбитных обозначениях: сокращение на 37,5%. Это математические ожидания при заданном распределении, без заголовков и накладных расходов передачи, а не гарантия для каждого сообщения. Редкому символу требуются четыре бита. S3

3. У сжатия есть точный предел

Для известного конечного независимого одинаково распределённого источника оптимальный двоичный префиксный код блоков из n символов имеет среднюю длину блока L_n, удовлетворяющую:

$nH(X)\le L_n<nH(X)+1.$nH(X)≤Ln​<nH(X)+1.

$H(X)\le \frac{L_n}{n}<H(X)+\frac1n.$H(X)≤nLn​​<H(X)+n1​.

После деления на n видно, что при длинных блоках превышение над H(X) может стать малым. Нижняя граница верна и для однозначно декодируемых кодов. Это кодирование без потерь: исходное сообщение восстанавливается точно. При корреляциях нужна скорость энтропии при соответствующих предположениях об источнике, а не автоматически энтропия отдельного символа. S3

Сжатие использует предсказуемую структуру и не может укоротить все возможные двоичные файлы. Коротких строк меньше, чем длинных. Некоторые входы должны сохранить размер или увеличиться. Ошибочная вероятностная модель, маленький файл или стоимость передачи кодовой книги могут устранить практическую экономию.

4. Добавить избыточность для защиты от шума

Кодирование источника удаляет устранимую избыточность. Канальное кодирование намеренно добавляет структурированную избыточность, чтобы различать сообщения после помех. Противоречия нет: задачи различны. Схема разделяет операции для объяснения; физическая модуляция и синхронизация опущены.

Научная схема создана для этой статьи на основе абстракции связи Шеннона: сжатие предшествует защитному кодированию, декодирование идёт в обратном порядке. Стрелки показывают поток сообщения, не измеренный сигнал и не временной масштаб.

Предположим, каждый переданный бит независимо инвертируется с вероятностью p = 0,1. Передаём логический 0 как 000, а 1 как 111, затем решаем по большинству. Ошибка требует минимум двух инверсий:

$P_{\rm e}=3p^2(1-p)+p^3=0.028.$Pe​=3p2(1−p)+p3=0.028.

Вероятность ошибки декодированного бита падает с 10% до 2,8% ценой одного информационного бита на три использования канала. Код с повторением показывает компромисс, но не приближается к пределу Шеннона. Остаточная ошибка не исчезает от отправки новых независимых трёхбитных блоков. Коррелированные или пакетные ошибки сделали бы этот конкретный расчёт неприменимым.

5. Пропускная способность — скорость, а не обещание совершенства

Здесь рассматривается стационарный дискретный канал без памяти с конечными алфавитами. Условное распределение каждого выхода Y зависит только от соответствующего входа X. При заданном законе переходов и отсутствии дополнительных ограничений на распределение входа пропускная способность равна:

$I(X;Y)=H(X)-H(X\mid Y),$I(X;Y)=H(X)−H(X∣Y),

$C=\max_{P_X} I(X;Y).$C=PX​max​I(X;Y).

$R=\frac{\log_2 M}{n}.$R=nlog2​M​.

В этих формулах M — число равновероятных сообщений, n — число использований канала на кодовое слово. В границе сжатия n обозначает число символов источника, а L_n — ожидаемую длину в битах. Это отдельные примеры.

Взаимная информация I(X;Y) измеряет уменьшение неопределённости о X после наблюдения Y. Пропускная способность измеряется в битах на использование канала. Для равновероятных сообщений, кодируемых блоками длины n, при любой фиксированной скорости R строго ниже C существуют последовательности кодов, для которых вероятность ошибки блока стремится к нулю с ростом n. Выше C это невозможно в данной модели. Это асимптотическая теорема существования, не гарантия отсутствия ошибок при конечной длине или эффективной реализации. S4, S5, S6

Для двоичного симметричного канала с независимой вероятностью инверсии p:

$\begin{aligned} h_2(p)&=-p\log_2 p\\ &\quad-(1-p)\log_2(1-p). \end{aligned}$h2​(p)​=−plog2​p−(1−p)log2​(1−p).​

$C=1-h_2(p).$C=1−h2​(p).

$C(0.1)\approx0.5310.$C(0.1)≈0.5310.

Равновероятные входные биты достигают этой пропускной способности. При p = 0,1 предел составляет около 0,5310 информационного бита на использование, а не 0,9. Неизвестные позиции ошибок уменьшают различимость сообщений. При 1 000 использованиях в секунду 531,0 бит/с — асимптотическая пропускная способность, не измеренная скорость приложения.

6. Когда в расчёт входят полоса частот и мощность

Для идеального канала с ограниченной полосой, аддитивным белым гауссовским шумом, независимым от сигнала, и ограничением средней мощности сигнала:

$C=W\log_2\left(1+\frac{P}{N}\right).$C=Wlog2​(1+NP​).

$\begin{aligned} 3000\log_2(1001)&\\ &\approx29901.7\;\mathrm{bit/s}. \end{aligned}$3000log2​(1001)​≈29901.7bit/s.​

W — полоса частот в герцах; P и N — мощности сигнала и суммарного шума в этой полосе, в одинаковых единицах, например ваттах. P/N — безразмерное линейное отношение мощностей, не значение в децибелах. При W = 3 000 Гц и отношении сигнал/шум 30 дБ имеем P/N = 10^(30/10) = 1 000. Получается примерно 29 901,7 бит/с, или 29,90 кбит/с. Это иллюстративные параметры модели, не историческое измерение телефонной линии. S1, теорема 17

Формула не универсальна для замираний, импульсных помех, ограничений амплитуды или заданного конечного сигнального созвездия. Рост W может увеличить N: шум надо пересчитать, а не оставлять постоянным без основания. Аппаратура, длина кода, задержка и протокольные расходы определяют практическое отставание от предела.

7. Что изменилось и чего теория не утверждает

Шеннон позволил разделить два количественных вопроса: сколько информации создаёт источник и сколько канал может надёжно передать. Проект можно сравнить с пределом, а не только с предыдущим устройством. Модели источника и канала всё равно требуют измерительных оснований.

Работа 1948 года не дала всех практических алгоритмов сжатия и исправления ошибок. Последующие исследования, включая анализ вероятностей ошибок кодирования Галлагером, развили связь скорости, длины блока и надёжности. Теория также не утверждает, что случайные данные осмысленны, сжатие доказывает понимание или увеличение вычислительной мощности преодолевает пропускную способность при неизменных предположениях. S6

Её долговечный вклад — язык рассуждений о неопределённости при ограничениях. Столкнувшись с пределом, инженер может определить модель, измерить разрыв и решить, улучшать ли код, канал или саму цель.

Источники и проверки этой статьи

Статья написана на английском и переведена системой ИИ по указанным источникам. Та же система создала научную схему. Числовые примеры пересчитаны программно, версии проверены ИИ; проверка человеком или независимым экспертом не заявляется. Обложка создана с помощью ChatGPT Image.

Эталон SHANNON-EN-1, 9 сентября 2026 года. Цитируемые фрагменты 1948 года и последующие математические изложения прочитаны онлайн. Проверены уравнения, предположения, арифметика, однозначность декодирования и локализованные подписи. Примеры — теоретические расчёты, не эксперименты. Научная схема отделена от сгенерированной обложки. Примечание описывает фактическую подготовку статьи, не удостоверяя автономную публикацию.

Источники

• S1 — C. E. Shannon — A Mathematical Theory of Communication (1948), corrected reprint
• S2 — Nokia Bell Labs — A Mathematical Theory of Communication
• S3 — M. Médard, MIT 6.441 (2010) — Lecture 5: codes, Kraft inequality, optimal codes
• S4 — M. Médard, MIT 6.441 (2010) — Lecture 8: channel capacity
• S5 — M. Médard, MIT 6.441 (2010) — Lecture 10: channel coding theorem
• S6 — R. G. Gallager — A Simple Derivation of the Coding Theorem and Some Applications (1965)