Definition
Ein Token kann ein Wort, ein Wortteil oder ein Zeichen sein. Ein autoregressives Sprachmodell berechnet Werte aus dem Kontext. Normalisierung erzeugt eine Verteilung; die Dekodierung wählt ein Token, das zum Kontext des nächsten Schritts hinzukommt.
Gleichung
p ist die Referenzverteilung, q die transformierte Verteilung und T eine positive Temperatur. Die q-Werte summieren sich zu 1; Anzeigen sind gerundet.
Annahmen und Notation
p ist die Referenzverteilung, q die transformierte Verteilung und T eine positive Temperatur. Die q-Werte summieren sich zu 1; Anzeigen sind gerundet.
Grenzen der Interpretation
Wahrscheinlichkeit beschreibt eine Modellpräferenz, nicht Wahrheit. Temperatur verändert die Ziehung ohne neues Wissen. Das Beispiel enthält nur drei fiktive Möglichkeiten.