Shannon, 1948: Information messen, um zuverlässig zu kommunizieren

Artikel anhand der genannten Quellen von KI verfasst und übersetzt. Redaktionelle Methode und Prüfungen.

KI-generierte konzeptionelle Illustration, kein Archivfoto und kein quantitatives Diagramm. Relaisartige Geräte und Lichtimpulse veranschaulichen Kommunikation durch Rauschen; sie dokumentieren kein bestimmtes Gerät von 1948.

1. Ein gemeinsames Problem verschiedener Maschinen

Telegramm, gesprochener Satz und Foto unterscheiden sich, stellen aber dasselbe technische Problem: Eine ausgewählte Nachricht soll anderswo reproduziert werden. Kabel, Funkwelle oder Speicher sind physikalische Mittel dafür. Der Empfänger muss trotz ihrer Unvollkommenheiten Alternativen unterscheiden.

Shannons Aufsatz erschien im Juli und Oktober 1948 in zwei Teilen im Bell System Technical Journal. Er baute unter anderem auf Nyquist und Hartley auf und bezog Quellenstatistik und Rauschen ein. Die hier zitierte MIT-Fassung ist ausdrücklich ein korrigierter Nachdruck, kein Faksimile der beiden Originalausgaben. S1, S2

Information bezeichnet die Unsicherheit darüber, welche Nachricht gewählt wurde. Sie bewertet weder Bedeutung noch Wahrheit, Nutzen oder Intelligenz. Eine vorhersehbare Warnung kann lebenswichtig sein und wenig neue statistische Information enthalten. Diese Beschränkung macht die technische Frage berechenbar; sie erklärt Bedeutung nicht für unwichtig.

2. Von Unsicherheit zu Bits

X sei ein Symbol aus einem endlichen Alphabet mit Wahrscheinlichkeiten p_i, deren Summe eins beträgt. Der Überraschungsgehalt von Ergebnis i und sein Mittelwert, die Entropie, lauten:

$I_i=-\log_2 p_i.$Ii​=−log2​pi​.

$H(X)=-\sum_i p_i\log_2 p_i.$H(X)=−i∑​pi​log2​pi​.

Die Logarithmen haben Basis 2; Entropie wird in Bits pro Quellensymbol gemessen, mit 0 log₂0 = 0. Zwei gleich wahrscheinliche Ergebnisse haben eine Entropie von 1 Bit, ein sicheres Ergebnis von null. Ein Bit ist eine Informationseinheit, keine bestimmte Spannung und nicht automatisch ein Druckzeichen.

Eine beispielhafte gedächtnislose Quelle habe fünf Symbole. Häufige Symbole erhalten kurze Codewörter:

$\begin{aligned} H(X)=\bar L&=\tfrac12(1)+\tfrac14(2)\\ &\quad+\tfrac18(3)+2\tfrac1{16}(4)\\ &=1.875. \end{aligned}$H(X)=Lˉ​=21​(1)+41​(2)+81​(3)+2161​(4)=1.875.​

Kein Codewort ist Präfix eines anderen; Trennzeichen sind deshalb unnötig. Für 1.000 unabhängige Symbole beträgt die erwartete Länge 1.875 Bits statt 3.000 bei festen Drei-Bit-Kennungen: 37,5 % weniger. Das sind Erwartungswerte unter dieser Verteilung, ohne Header und Übertragungsaufwand, keine Garantie für jede Nachricht. Ein seltenes Symbol benötigt sogar vier Bits. S3

3. Kompression hat eine präzise Grenze

Für eine bekannte endliche, unabhängige und identisch verteilte Quelle hat der beste binäre Präfixcode für Blöcke aus n Symbolen eine erwartete Blocklänge L_n mit:

$nH(X)\le L_n<nH(X)+1.$nH(X)≤Ln​<nH(X)+1.

$H(X)\le \frac{L_n}{n}<H(X)+\frac1n.$H(X)≤nLn​​<H(X)+n1​.

Nach Division durch n kann der Zusatzaufwand über H(X) bei langen Blöcken klein werden. Die untere Schranke gilt auch für eindeutig decodierbare Codes. Es handelt sich um verlustlose Codierung: Die ursprüngliche Nachricht wird exakt rekonstruiert. Bei Korrelationen ist unter geeigneten Annahmen eine Entropierate maßgeblich, nicht automatisch die Entropie eines einzelnen Symbols. S3

Kompression nutzt vorhersagbare Struktur. Sie kann nicht jede mögliche Binärdatei verkürzen: Es gibt weniger kurze als lange Zeichenfolgen. Manche Eingaben müssen gleich lang bleiben oder wachsen. Ein falsches Wahrscheinlichkeitsmodell, eine kleine Datei oder die Übertragung des Codebuchs können den praktischen Gewinn aufzehren.

4. Redundanz gegen Rauschen hinzufügen

Quellencodierung entfernt vermeidbare Redundanz. Kanalcodierung fügt gezielt strukturierte Redundanz hinzu, damit Nachrichten nach Störungen unterscheidbar bleiben. Das widerspricht sich nicht, denn die Aufgaben unterscheiden sich. Das Schema trennt sie zur Erklärung; physikalische Modulation und Synchronisation sind weggelassen.

Für diesen Artikel erstelltes wissenschaftliches Schema nach Shannons Kommunikationsabstraktion: Kompression kommt vor Schutzcodierung; Decodierung kehrt die Reihenfolge um. Die Pfeile zeigen den Nachrichtenfluss, kein gemessenes Signal und keine Zeitskala.

Jedes übertragene Bit werde unabhängig mit Wahrscheinlichkeit p = 0,1 umgekehrt. Eine logische 0 wird als 000, eine 1 als 111 gesendet; der Empfänger entscheidet nach Mehrheit. Ein Fehler erfordert mindestens zwei Umkehrungen:

$P_{\rm e}=3p^2(1-p)+p^3=0.028.$Pe​=3p2(1−p)+p3=0.028.

Die Fehlerwahrscheinlichkeit des decodierten Bits sinkt von 10 % auf 2,8 %, bei einem Informationsbit je drei Kanalnutzungen. Dieser Wiederholungscode zeigt den Kompromiss, erreicht aber nicht annähernd die Shannon-Grenze. Sein Restfehler verschwindet nicht durch das Senden weiterer unabhängiger Drei-Bit-Blöcke. Korrelierte Fehler oder Fehlerbursts würden diese konkrete Rechnung ungültig machen.

5. Kapazität: eine Rate, kein Perfektionsversprechen

Beim hier betrachteten stationären diskreten gedächtnislosen Kanal mit endlichen Alphabeten hängt die bedingte Verteilung jeder Ausgabe Y nur von ihrer zugehörigen Eingabe X ab. Für ein festes Übergangsgesetz und eine nicht zusätzlich beschränkte Eingabeverteilung gilt:

$I(X;Y)=H(X)-H(X\mid Y),$I(X;Y)=H(X)−H(X∣Y),

$C=\max_{P_X} I(X;Y).$C=PX​max​I(X;Y).

$R=\frac{\log_2 M}{n}.$R=nlog2​M​.

Hier ist M die Anzahl gleich wahrscheinlicher Nachrichten und n die Zahl der Kanalnutzungen je Codewort. In der Kompressionsschranke zählt n dagegen Quellensymbole, und L_n ist eine erwartete Länge in Bits. Beide Verwendungen gehören zu getrennten Beispielen.

Die gegenseitige Information I(X;Y) misst, wie stark die Beobachtung von Y die Unsicherheit über X reduziert. Kapazität hat die Einheit Bit pro Kanalnutzung. Für gleich wahrscheinliche Nachrichten in Blöcken der Länge n gibt es bei jeder festen Rate R strikt unter C Codefolgen, deren Blockfehlerwahrscheinlichkeit mit wachsendem n gegen null geht. Oberhalb C ist dies im Modell unmöglich. Das ist ein asymptotischer Existenzsatz, keine Garantie für Fehlerfreiheit bei endlicher Länge oder für effiziente Implementierung. S4, S5, S6

Für einen binären symmetrischen Kanal mit unabhängiger Umkehrwahrscheinlichkeit p:

$\begin{aligned} h_2(p)&=-p\log_2 p\\ &\quad-(1-p)\log_2(1-p). \end{aligned}$h2​(p)​=−plog2​p−(1−p)log2​(1−p).​

$C=1-h_2(p).$C=1−h2​(p).

$C(0.1)\approx0.5310.$C(0.1)≈0.5310.

Gleich wahrscheinliche Eingabebits erreichen diese Kapazität. Bei p = 0,1 beträgt sie etwa 0,5310 Informationsbit pro Nutzung, nicht 0,9. Die unbekannten Fehlerpositionen vermindern die Unterscheidbarkeit. Bei 1.000 Nutzungen pro Sekunde sind 531,0 bit/s die asymptotische Kapazität, kein gemessener Anwendungsdurchsatz.

6. Wenn Bandbreite und Leistung ins Spiel kommen

Für einen idealen bandbegrenzten Kanal mit additivem weißem gaußschem Rauschen, unabhängig vom Signal, und einer Beschränkung der mittleren Signalleistung:

$C=W\log_2\left(1+\frac{P}{N}\right).$C=Wlog2​(1+NP​).

$\begin{aligned} 3000\log_2(1001)&\\ &\approx29901.7\;\mathrm{bit/s}. \end{aligned}$3000log2​(1001)​≈29901.7bit/s.​

W ist die Bandbreite in Hertz. P und N sind Signal- und gesamte Rauschleistung innerhalb dieser Bandbreite, in derselben Einheit, etwa Watt. P/N ist ein dimensionsloses lineares Leistungsverhältnis, kein Dezibelwert. Mit W = 3.000 Hz und 30 dB Signal-Rausch-Verhältnis ist P/N = 10^(30/10) = 1.000. Daraus folgen etwa 29.901,7 bit/s beziehungsweise 29,90 kbit/s. Dies sind illustrative Modellparameter, keine historische Messung einer Telefonverbindung. S1, Satz 17

Die Formel gilt nicht allgemein für Fading, impulsartige Störungen, Amplitudengrenzen oder eine vorgegebene endliche Signalkonstellation. Mehr W kann auch mehr N bedeuten: Die Rauschleistung muss neu berechnet werden. Hardware, Blocklänge, Verzögerung und Protokollaufwand bestimmen den praktischen Abstand zur Grenze.

7. Was sich änderte und was die Theorie nicht behauptet

Shannon machte zwei getrennte quantitative Fragen möglich: Wie viel Information erzeugt eine Quelle, und wie viel kann ein Kanal zuverlässig übertragen? Ein Entwurf lässt sich damit an einer Grenze statt nur an einer älteren Maschine messen. Quellen- und Kanalmodelle müssen weiterhin durch Messungen begründet werden.

Die Arbeit von 1948 lieferte nicht alle praktischen Kompressionsverfahren und Fehlerkorrekturcodes. Spätere Arbeiten, darunter Gallagers Analyse von Codierungsfehlerwahrscheinlichkeiten, vertieften die Beziehung zwischen Rate, Blocklänge und Zuverlässigkeit. Die Theorie behauptet auch nicht, Zufallsdaten seien bedeutungsvoll, Kompression beweise Verständnis oder mehr Rechenleistung könne die Kapazität bei unveränderten Annahmen übertreffen. S6

Ihr bleibender Beitrag ist eine Sprache für Unsicherheit unter Beschränkungen. Eine sinnvolle technische Reaktion auf eine Grenze besteht darin, das Modell zu benennen, den Abstand zu messen und dann Code, Kanal oder Ziel zu verbessern.

Quellen und Prüfungen dieses Artikels

Der Artikel wurde von einem KI-System anhand der genannten Quellen auf Englisch verfasst und übersetzt. Dasselbe System erstellte das wissenschaftliche Schema. Zahlenbeispiele wurden per Code nachgerechnet und Fassungen durch KI geprüft; menschliche oder unabhängige fachliche Prüfung wird nicht behauptet. Das Titelbild entstand mit ChatGPT Image.

Referenz SHANNON-EN-1, 9. September 2026. Die zitierten Passagen von 1948 und spätere mathematische Darstellungen wurden online gelesen. Gleichungen, Annahmen, Arithmetik, eindeutige Decodierung und lokalisierte Beschriftungen wurden geprüft. Die Beispiele sind theoretische Berechnungen, keine Experimente. Das erklärende Schema ist vom generierten Titelbild getrennt. Diese Notiz beschreibt die tatsächliche Vorbereitung und bestätigt keine autonome Veröffentlichung.

Quellen

• S1 — C. E. Shannon — A Mathematical Theory of Communication (1948), corrected reprint
• S2 — Nokia Bell Labs — A Mathematical Theory of Communication
• S3 — M. Médard, MIT 6.441 (2010) — Lecture 5: codes, Kraft inequality, optimal codes
• S4 — M. Médard, MIT 6.441 (2010) — Lecture 8: channel capacity
• S5 — M. Médard, MIT 6.441 (2010) — Lecture 10: channel coding theorem
• S6 — R. G. Gallager — A Simple Derivation of the Coding Theorem and Some Applications (1965)