Shannon, 1948: medir a informação para comunicar com confiabilidade

Como uma mensagem pode chegar intacta quando seu sinal sofre interferências? Em 1948, Claude Shannon ofereceu uma estrutura matemática para separar a mensagem de seu suporte físico, medir sua compressão possível e determinar a taxa abaixo da qual a codificação pode superar o ruído. Seus resultados estabelecem limites e possibilidades, não um transmissor universal pronto para construir.

Artigo redigido e traduzido por IA com base nas fontes citadas. Método editorial e verificações.

Ilustração conceitual gerada por IA, não fotografia de arquivo ou diagrama quantitativo. Dispositivos semelhantes a relés e pulsos luminosos evocam comunicação com ruído; não documentam um aparelho específico de 1948.

1. Um problema comum a máquinas diferentes

Um telegrama, uma frase falada e uma fotografia são diferentes, mas compartilham um problema de engenharia: reproduzir em outro lugar uma mensagem selecionada. Cabo, onda de rádio ou dispositivo de armazenamento são meios físicos para isso. O receptor deve distinguir as alternativas apesar das imperfeições do meio.

O artigo de Shannon saiu em duas partes no Bell System Technical Journal, em julho e outubro de 1948. Desenvolveu trabalhos anteriores, incluindo os de Nyquist e Hartley, considerando as estatísticas da fonte e o ruído. A cópia do MIT citada aqui é explicitamente uma reimpressão corrigida, não um fac-símile dos dois números originais. S1, S2

Informação se refere à incerteza sobre qual mensagem foi escolhida. Não mede significado, verdade, utilidade ou inteligência. Um aviso previsível pode ser vital e trazer pouca informação estatística nova. Essa restrição torna a questão de engenharia calculável; não torna o significado irrelevante.

2. Da incerteza aos bits

Seja X um símbolo de um alfabeto finito, com probabilidades p_i cuja soma é um. A surpresa do resultado i e sua média, a entropia, são:

$I_i=-\log_2 p_i.$

$H(X)=-\sum_i p_i\log_2 p_i.$

Os logaritmos têm base 2: a unidade é bit por símbolo da fonte, com 0 log₂0 = 0. Duas alternativas equiprováveis têm entropia de 1 bit; uma alternativa certa tem entropia zero. Bit é uma unidade de informação, não uma tensão específica nem necessariamente um caractere impresso.

Para uma fonte ilustrativa sem memória com cinco símbolos, atribuímos palavras de código curtas aos símbolos frequentes:

Símbolo	Probabilidade	Código	Comprimento (bits)
A	1/2	`0`	1
B	1/4	`10`	2
C	1/8	`110`	3
D	1/16	`1110`	4
E	1/16	`1111`	4

$\begin{aligned} H(X)=\bar L&=\tfrac12(1)+\tfrac14(2)\\ &\quad+\tfrac18(3)+2\tfrac1{16}(4)\\ &=1.875. \end{aligned}$

Nenhuma palavra de código é prefixo de outra, permitindo decodificar sem separadores. Para 1 000 símbolos independentes, o comprimento esperado é 1 875 bits, contra 3 000 com identificadores fixos de três bits: redução de 37,5%. São valores esperados nessa distribuição, sem cabeçalhos e sobrecarga de transmissão, não garantias para cada mensagem. Um símbolo raro ocupa quatro bits. S3

3. A compressão tem um limite preciso

Para uma fonte finita conhecida, independente e identicamente distribuída, o melhor código de prefixo binário para blocos de n símbolos tem comprimento médio de bloco L_n tal que:

$nH(X)\le L_n<nH(X)+1.$

$H(X)\le \frac{L_n}{n}<H(X)+\frac1n.$

Dividindo por n, a sobrecarga acima de H(X) pode ficar pequena com blocos longos. O limite inferior vale também para códigos univocamente decodificáveis. É codificação sem perdas: a mensagem original é reconstruída exatamente. Com correlações, importa uma taxa de entropia sob hipóteses adequadas, não automaticamente a entropia de um símbolo isolado. S3

A compressão explora estrutura previsível; não pode encurtar todos os arquivos binários possíveis. Existem menos sequências curtas que longas. Algumas entradas precisam manter o tamanho ou crescer. Um modelo probabilístico errado, um arquivo pequeno ou o custo de transmitir o dicionário podem eliminar o ganho prático.

4. Adicionar redundância para resistir ao ruído

A codificação de fonte remove redundância evitável. A codificação de canal acrescenta redundância estruturada para distinguir mensagens após perturbações. Não há contradição: as tarefas são diferentes. O esquema separa essas operações para explicá-las; modulação física e sincronização foram omitidas.

Esquema científico criado para este artigo, inspirado na abstração de Shannon: a compressão precede a codificação protetora; a decodificação inverte a ordem. As setas mostram o fluxo da mensagem, não um sinal medido ou uma escala de tempo.

Suponha que cada bit transmitido seja invertido independentemente com probabilidade p = 0,1. Enviamos 0 como 000 e 1 como 111, decidindo por maioria. Um erro exige pelo menos duas inversões:

$P_{\rm e}=3p^2(1-p)+p^3=0.028.$

A probabilidade de erro do bit decodificado cai de 10% para 2,8%, à taxa de um bit de informação por três usos do canal. Esse código de repetição ilustra a troca sem se aproximar do limite de Shannon. Seu erro residual não desaparece apenas enviando mais blocos independentes de três bits. Erros correlacionados ou em rajadas invalidariam este cálculo específico.

5. Capacidade: uma taxa, não uma promessa de perfeição

No canal discreto estacionário sem memória com alfabetos finitos considerado aqui, a distribuição condicional de cada saída Y depende apenas da entrada X correspondente. Para uma lei de transição fixa e distribuição de entrada sem restrição adicional:

$I(X;Y)=H(X)-H(X\mid Y),$

$C=\max_{P_X} I(X;Y).$

$R=\frac{\log_2 M}{n}.$

Nessas fórmulas, M é o número de mensagens equiprováveis e n os usos do canal por palavra de código. No limite de compressão, n conta símbolos da fonte e L_n é um comprimento esperado em bits. São exemplos distintos.

A informação mútua I(X;Y) mede quanto observar Y reduz a incerteza sobre X. A capacidade é medida em bits por uso do canal. Para mensagens equiprováveis codificadas em blocos de comprimento n, toda taxa fixa R estritamente abaixo de C admite sequências de códigos cuja probabilidade de erro de bloco tende a zero à medida que n cresce. Acima de C, isso é impossível nesse modelo. É um resultado assintótico de existência, não garantia de erro zero em comprimento finito ou de implementação eficiente. S4, S5, S6

Para o canal binário simétrico com inversões independentes de probabilidade p:

$\begin{aligned} h_2(p)&=-p\log_2 p\\ &\quad-(1-p)\log_2(1-p). \end{aligned}$

$C=1-h_2(p).$

$C(0.1)\approx0.5310.$

Entradas equiprováveis atingem essa capacidade. Com p = 0,1, o limite é aproximadamente 0,5310 bit de informação por uso, não 0,9. O desconhecimento das posições dos erros reduz a distinção entre mensagens. A 1 000 usos por segundo, 531,0 bit/s é a capacidade assintótica, não uma vazão de aplicação medida.

6. Quando entram a largura de banda e a potência

Para um canal ideal limitado em banda com ruído branco gaussiano aditivo, independente do sinal, e restrição de potência média do sinal:

$C=W\log_2\left(1+\frac{P}{N}\right).$

$\begin{aligned} 3000\log_2(1001)&\\ &\approx29901.7\;\mathrm{bit/s}. \end{aligned}$

W é a largura de banda em hertz; P e N são as potências do sinal e do ruído total nessa banda, na mesma unidade, como watts. P/N é uma razão linear adimensional, não um valor em decibéis. Com W = 3 000 Hz e relação sinal/ruído de 30 dB, P/N = 10^(30/10) = 1 000. O resultado é cerca de 29 901,7 bit/s, ou 29,90 kbit/s. São parâmetros ilustrativos, não uma medição histórica de uma linha telefônica. S1, teorema 17

A fórmula não é universal para desvanecimento, interferência impulsiva, limites de amplitude ou uma constelação finita imposta. Aumentar W também pode aumentar N: é preciso recalcular o ruído, não mantê-lo constante sem justificativa. Hardware, comprimento do código, atraso e protocolos determinam a distância prática ao limite.

7. O que mudou e o que a teoria não afirma

Shannon permitiu separar duas perguntas quantitativas: quanta informação uma fonte gera e quanto um canal pode transportar com confiabilidade. Um projeto pode ser comparado com um limite, não apenas com uma máquina anterior. Os modelos ainda precisam ser sustentados por medições.

O trabalho de 1948 não forneceu todos os algoritmos práticos de compressão ou códigos corretores de erros. Trabalhos posteriores, incluindo a análise de Gallager sobre probabilidades de erro de codificação, aprofundaram a relação entre taxa, comprimento do bloco e confiabilidade. A teoria também não diz que dados aleatórios têm significado, que comprimir prova compreensão ou que mais computação supera a capacidade sem mudar as hipóteses. S6

Sua contribuição duradoura é uma linguagem para raciocinar sobre incerteza sob restrições. Diante de um limite, a engenharia pode identificar o modelo, medir a diferença e decidir se melhora o código, o canal ou o objetivo.

Fontes e verificações deste artigo

Artigo redigido em inglês e traduzido por um sistema de IA a partir das fontes citadas. O mesmo sistema produziu o esquema científico. Os exemplos foram recalculados por código e as versões verificadas por IA; não se afirma revisão humana ou especializada independente. A capa foi gerada com ChatGPT Image.

Referência SHANNON-EN-1, 9 de setembro de 2026. Os trechos citados de 1948 e os tratamentos matemáticos posteriores foram lidos on-line. Equações, hipóteses, aritmética, decodificação única e rótulos localizados foram verificados. Os exemplos são cálculos teóricos, não experimentos. O esquema explicativo é distinto da capa gerada. Esta nota descreve a preparação real do artigo, sem certificar publicação autônoma.

Fontes