Definição
Um token pode ser uma palavra, parte dela ou um sinal. Um modelo autorregressivo calcula pontuações a partir do contexto. A normalização produz uma distribuição; a decodificação seleciona um token, incorporado ao contexto do próximo passo.
Equação
p é a distribuição de referência, q a transformada e T uma temperatura positiva. Os valores q somam 1; os percentuais exibidos são arredondados.
Hipóteses e notação
p é a distribuição de referência, q a transformada e T uma temperatura positiva. Os valores q somam 1; os percentuais exibidos são arredondados.
Limites da interpretação
Probabilidade expressa preferência do modelo, não verdade. A temperatura muda o sorteio sem acrescentar conhecimento. O exemplo contém apenas três possibilidades fictícias.