Définition
Un token peut être un mot, un morceau de mot ou un signe. Un modèle de langage autorégressif calcule des scores à partir du contexte ; une normalisation donne une distribution. Le décodage sélectionne ensuite un token, qui rejoint le contexte pour l’étape suivante.
Équation
p est la distribution de référence, q la distribution transformée et T une température strictement positive. La somme des q vaut 1 ; les valeurs affichées sont arrondies.
Hypothèses et notation
p est la distribution de référence, q la distribution transformée et T une température strictement positive. La somme des q vaut 1 ; les valeurs affichées sont arrondies.
Limites de l’interprétation
La probabilité mesure la préférence du modèle dans ce contexte, pas la vérité d’une phrase. La température transforme le tirage sans ajouter de connaissances. L’exemple n’affiche que trois possibilités fictives.