Definición
Un token puede ser una palabra, un fragmento o un signo. Un modelo autorregresivo calcula puntuaciones desde el contexto. La normalización produce una distribución; la decodificación elige un token y lo incorpora al contexto para el siguiente paso.
Ecuación
p es la distribución inicial, q la transformada y T una temperatura positiva. Los valores q suman 1; los porcentajes mostrados están redondeados.
Supuestos y notación
p es la distribución inicial, q la transformada y T una temperatura positiva. Los valores q suman 1; los porcentajes mostrados están redondeados.
Límites de interpretación
La probabilidad expresa preferencia del modelo, no veracidad. La temperatura modifica el muestreo sin añadir conocimiento. El ejemplo contiene solo tres posibilidades ficticias.