Aller au contenuExpérimenter
Du contexte au prochain token
Distinguer les probabilités du modèle de la règle utilisée pour choisir une sortie.
L’essentiel
Comment cela fonctionne
Un token peut être un mot, un morceau de mot ou un signe. Un modèle de langage autorégressif calcule des scores à partir du contexte ; une normalisation donne une distribution. Le décodage sélectionne ensuite un token, qui rejoint le contexte pour l’étape suivante.
À retenir
La probabilité mesure la préférence du modèle dans ce contexte, pas la vérité d’une phrase. La température transforme le tirage sans ajouter de connaissances. L’exemple n’affiche que trois possibilités fictives.
De la notion à l’usageMettre en pratique · ChatGPT
Sources scientifiques
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Publication originale
Synthèse pédagogique des sources citées. Les résultats des publications restent liés à leurs tâches, protocoles et budgets.