Zum Inhalt
Vom Kontext zum nächsten Token
Modellwahrscheinlichkeiten und Auswahlregel unterscheiden.
Lehrsimulation · fiktive Werte
Was verändert die Temperatur?
Der Himmel ist…
Referenz · T = 1
blau 60 %
grau 30 %
klar 10 %
0 %25 %50 %75 %100 %
Ihre Einstellung · T = 1
blau 60 %
grau 30 %
klar 10 %
0 %25 %50 %75 %100 %
T = 1: Die Ausgangsverteilung bleibt erhalten.
Nur drei Möglichkeiten. Kein echtes Modell wird abgefragt; eine Ziehung misst keine Antwortqualität.
Verständnis prüfen
Formulieren Sie vor der Antwort eine eigene Erklärung.
Eine höhere Temperatur kann ein zunächst seltenes Token wahrscheinlicher machen.
Merksatz
Wahrscheinlichkeit beschreibt eine Modellpräferenz, nicht Wahrheit. Temperatur verändert die Ziehung ohne neues Wissen. Das Beispiel enthält nur drei fiktive Möglichkeiten.
VertiefenVom Konzept zur AnwendungPraktisch anwenden · ChatGPT
Wissenschaftliche Quellen
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Originalpublikation
Didaktische Zusammenfassung der Quellen. Ergebnisse gelten im Rahmen der jeweiligen Aufgaben, Protokolle und Budgets.