Shannon, 1948 : mesurer l’information pour communiquer de façon fiable

Article rédigé et traduit par IA à partir des sources citées. Méthode éditoriale et contrôles.

Illustration conceptuelle générée par IA, ni photographie d’archive ni diagramme quantitatif. Les dispositifs évoquant des relais et les impulsions lumineuses représentent la communication dans le bruit, sans documenter un appareil précis de 1948.

1. Un problème commun à des machines différentes

Un télégramme, une phrase prononcée et une photographie sont différents, mais posent un même problème d’ingénierie : reproduire ailleurs un message choisi. Un câble, une onde radio ou un dispositif de stockage en est le moyen physique. Le récepteur doit distinguer les possibilités malgré les imperfections du support.

L’article de Shannon paraît en deux parties dans le Bell System Technical Journal, en juillet et octobre 1948. Il prolonge notamment Nyquist et Hartley en traitant les statistiques de la source et le bruit. La copie du MIT citée ici est explicitement une réimpression corrigée, pas un fac-similé des deux numéros originaux. S1, S2

L’information désigne ici l’incertitude sur le message sélectionné. Elle ne mesure ni le sens, ni la vérité, ni l’utilité, ni l’intelligence. Un avertissement prévisible peut être crucial tout en apportant peu d’information statistique nouvelle. Cette restriction rend le problème calculable ; elle ne rend pas le sens négligeable.

2. De l’incertitude aux bits

Soit X un symbole d’un alphabet fini, avec des probabilités p_i dont la somme vaut un. La surprise associée à l’issue i et sa moyenne, l’entropie, s’écrivent :

$I_i=-\log_2 p_i.$Ii​=−log2​pi​.

$H(X)=-\sum_i p_i\log_2 p_i.$H(X)=−i∑​pi​log2​pi​.

Les logarithmes sont en base 2 : l’entropie est en bits par symbole source, avec la convention 0 log₂0 = 0. Un choix entre deux issues équiprobables a une entropie de 1 bit ; une issue certaine a une entropie nulle. Un bit est une unité d’information, pas une tension particulière ni nécessairement un caractère imprimé.

Prenons une source sans mémoire illustrative de cinq symboles. Donnons les mots de code courts aux symboles fréquents :

$\begin{aligned} H(X)=\bar L&=\tfrac12(1)+\tfrac14(2)\\ &\quad+\tfrac18(3)+2\tfrac1{16}(4)\\ &=1.875. \end{aligned}$H(X)=Lˉ​=21​(1)+41​(2)+81​(3)+2161​(4)=1.875.​

Aucun mot de code n’est le début d’un autre : ce code préfixe se décode sans séparateur. Pour 1 000 symboles indépendants, la longueur moyenne attendue est de 1 875 bits, contre 3 000 avec des étiquettes fixes de trois bits : une réduction de 37,5 %. Ce sont des espérances sous cette distribution, hors en-têtes et surcoûts de transmission, pas une garantie pour chaque message. Un symbole rare exige même quatre bits. S3

3. La compression a une limite précise

Pour une source finie connue, indépendante et identiquement distribuée, le meilleur code préfixe binaire par blocs de n symboles a une longueur moyenne de bloc L_n telle que :

$nH(X)\le L_n<nH(X)+1.$nH(X)≤Ln​<nH(X)+1.

$H(X)\le \frac{L_n}{n}<H(X)+\frac1n.$H(X)≤nLn​​<H(X)+n1​.

La division par n montre que le surcoût au-dessus de H(X) peut devenir faible avec de longs blocs. La borne inférieure vaut aussi pour les codes uniquement décodables. Il s’agit de compression sans perte : le message initial est reconstruit exactement. En présence de corrélations, il faut considérer un taux d’entropie sous les hypothèses adaptées, pas automatiquement l’entropie d’un symbole isolé. S3

La compression exploite donc la structure prévisible ; elle ne peut raccourcir tous les fichiers binaires possibles. Il existe moins de chaînes courtes que de chaînes longues. Certains fichiers doivent conserver leur taille ou grandir. Un mauvais modèle de probabilités, un petit fichier ou le coût d’envoi du dictionnaire peuvent annuler le gain pratique.

4. Ajouter de la redondance pour résister au bruit

Le codage de source retire la redondance évitable. Le codage de canal ajoute volontairement une redondance structurée pour distinguer les messages après perturbation. Les objectifs sont différents, sans contradiction. Le schéma sépare ces opérations pour les expliquer ; modulation physique et synchronisation sont omises.

Schéma scientifique créé pour cet article, inspiré de l’abstraction de Shannon : la compression précède le codage protecteur ; le décodage suit l’ordre inverse. Les flèches indiquent le parcours du message, sans signal mesuré ni échelle de temps.

Supposons que chaque bit transmis soit inversé indépendamment avec une probabilité p = 0,1. Transmettons 0 par 000 et 1 par 111, puis décidons à la majorité. Une erreur exige au moins deux inversions :

$P_{\rm e}=3p^2(1-p)+p^3=0.028.$Pe​=3p2(1−p)+p3=0.028.

La probabilité d’erreur du bit décodé passe de 10 % à 2,8 %, pour un bit d’information par trois utilisations du canal. Ce code à répétition illustre le compromis sans approcher la limite de Shannon. Son erreur résiduelle ne disparaît pas simplement en envoyant davantage de blocs indépendants de trois bits. Des erreurs corrélées ou en rafales invalideraient ce calcul particulier.

5. La capacité : un débit, pas une promesse de perfection

Pour le canal discret stationnaire sans mémoire à alphabets finis considéré ici, la loi conditionnelle de chaque sortie Y ne dépend que de l’entrée X correspondante. Avec une loi de transition fixée et une distribution d’entrée sans contrainte supplémentaire, la capacité est :

$I(X;Y)=H(X)-H(X\mid Y),$I(X;Y)=H(X)−H(X∣Y),

$C=\max_{P_X} I(X;Y).$C=PX​max​I(X;Y).

$R=\frac{\log_2 M}{n}.$R=nlog2​M​.

Dans ces formules, M est le nombre de messages équiprobables et n le nombre d’utilisations du canal par mot de code. Dans la borne de compression, n compte au contraire les symboles source et L_n est une longueur moyenne en bits. Ces deux emplois de n concernent des exemples distincts.

L’information mutuelle I(X;Y) mesure combien l’observation de Y réduit l’incertitude sur X. La capacité s’exprime en bits par utilisation du canal. Pour des messages équiprobables codés en blocs de longueur n, tout débit fixé R strictement inférieur à C admet des suites de codes dont la probabilité d’erreur de bloc tend vers zéro lorsque n augmente. Au-dessus de C, une erreur tendant vers zéro est impossible dans ce modèle. C’est un résultat d’existence asymptotique, pas une garantie de zéro erreur à longueur finie ni d’implémentation efficace. S4, S5, S6

Pour un canal binaire symétrique d’inversions indépendantes de probabilité p :

$\begin{aligned} h_2(p)&=-p\log_2 p\\ &\quad-(1-p)\log_2(1-p). \end{aligned}$h2​(p)​=−plog2​p−(1−p)log2​(1−p).​

$C=1-h_2(p).$C=1−h2​(p).

$C(0.1)\approx0.5310.$C(0.1)≈0.5310.

Des bits d’entrée équiprobables atteignent cette capacité. À p = 0,1, la limite vaut environ 0,5310 bit d’information par utilisation, et non 0,9. L’emplacement inconnu des erreurs réduit la distinction possible entre messages. À 1 000 utilisations par seconde, 531,0 bit/s est la capacité asymptotique, pas un débit applicatif mesuré.

6. Quand la bande passante et la puissance interviennent

Pour un canal idéal à bande limitée et bruit blanc gaussien additif, indépendant du signal, sous contrainte de puissance moyenne du signal :

$C=W\log_2\left(1+\frac{P}{N}\right).$C=Wlog2​(1+NP​).

$\begin{aligned} 3000\log_2(1001)&\\ &\approx29901.7\;\mathrm{bit/s}. \end{aligned}$3000log2​(1001)​≈29901.7bit/s.​

W est la bande passante en hertz ; P et N sont les puissances du signal et du bruit total dans cette bande, dans la même unité, par exemple le watt. P/N est un rapport de puissances linéaire sans dimension, pas une valeur en décibels. Pour W = 3 000 Hz et un rapport signal/bruit de 30 dB, P/N = 10^(30/10) = 1 000, d’où environ 29 901,7 bit/s, soit 29,90 kbit/s. Ces paramètres illustrent un modèle ; ce n’est pas une mesure historique d’une liaison téléphonique. S1, théorème 17

La formule n’est pas universelle pour les évanouissements, les interférences impulsives, les limites d’amplitude ou une constellation finie imposée. Accroître W peut aussi accroître N : le bruit doit être recalculé et non supposé constant sans justification. Matériel, longueur de codage, délai et protocoles déterminent l’écart pratique à la limite.

7. Ce qui a changé — et ce que la théorie ne dit pas

Shannon permet de poser séparément deux questions quantitatives : combien d’information une source produit-elle, et combien un canal peut-il transporter de façon fiable ? On peut comparer un système à une limite plutôt qu’à une machine antérieure seulement. Les modèles de source et de canal doivent toujours être confrontés aux mesures.

Le travail de 1948 ne fournit pas tous les algorithmes de compression ni tous les codes correcteurs pratiques. Des travaux ultérieurs, dont l’analyse des probabilités d’erreur de codage par Gallager, approfondissent les liens entre débit, longueur de bloc et fiabilité. La théorie ne dit pas non plus que l’aléatoire est porteur de sens, que compresser prouve la compréhension, ou que davantage de calcul permet de dépasser la capacité sans modifier les hypothèses. S6

Son apport durable est un langage pour raisonner sur l’incertitude sous contraintes. Face à une limite, l’ingénieur peut expliciter le modèle, mesurer l’écart, puis choisir d’améliorer le code, le canal ou l’objectif.

Sources et contrôles de cet article

Article rédigé en anglais et traduit par un système d’IA à partir des sources citées. Le même système a produit le schéma scientifique. Les exemples numériques ont été recalculés par programme et les versions vérifiées par IA ; aucune validation humaine ou expertise indépendante n’est revendiquée. La couverture a été générée avec ChatGPT Image.

Référence SHANNON-EN-1, 9 septembre 2026. Les passages cités de 1948 et les traitements mathématiques ultérieurs ont été lus en ligne. Équations, hypothèses, arithmétique, unicité du décodage et légendes localisées ont été contrôlées. Les exemples sont théoriques, pas expérimentaux. Le schéma explicatif est distinct de la couverture générée. Cette note décrit la préparation réelle de cet article, sans certifier la publication autonome.

Sources

• S1 — C. E. Shannon — A Mathematical Theory of Communication (1948), corrected reprint
• S2 — Nokia Bell Labs — A Mathematical Theory of Communication
• S3 — M. Médard, MIT 6.441 (2010) — Lecture 5: codes, Kraft inequality, optimal codes
• S4 — M. Médard, MIT 6.441 (2010) — Lecture 8: channel capacity
• S5 — M. Médard, MIT 6.441 (2010) — Lecture 10: channel coding theorem
• S6 — R. G. Gallager — A Simple Derivation of the Coding Theorem and Some Applications (1965)