Aller au contenu
Du contexte au prochain token
Distinguer les probabilités du modèle de la règle utilisée pour choisir une sortie.
Simulation pédagogique · valeurs fictives
Que change la température ?
Le ciel est…
Référence · T = 1
bleu 60 %
gris 30 %
clair 10 %
0 %25 %50 %75 %100 %
Votre réglage · T = 1
bleu 60 %
gris 30 %
clair 10 %
0 %25 %50 %75 %100 %
T = 1 : la distribution de référence est conservée.
Trois possibilités seulement. Aucun modèle réel n’est interrogé ; un tirage ne mesure pas la qualité d’une réponse.
Vérifier ma compréhension
Avant de répondre, formulez votre explication.
Augmenter la température peut rendre plus probable un token initialement rare.
À retenir
La probabilité mesure la préférence du modèle dans ce contexte, pas la vérité d’une phrase. La température transforme le tirage sans ajouter de connaissances. L’exemple n’affiche que trois possibilités fictives.
ApprofondirDe la notion à l’usageMettre en pratique · ChatGPT
Sources scientifiques
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Publication originale
Synthèse pédagogique des sources citées. Les résultats des publications restent liés à leurs tâches, protocoles et budgets.