Definition
Eine Embedding-Tabelle ordnet Token-IDs Vektoren zu. Weitere Schichten verändern und kombinieren sie mit dem Kontext. Die Repräsentation von „Bank“ kann von Nachbarwörtern und dem erlernten Ziel abhängen.
Gleichung
E ist die Embedding-Tabelle; fθ erzeugt kontextabhängige Repräsentationen h. Vor einem Vergleich müssen Schicht und Metrik feststehen.
Annahmen und Notation
E ist die Embedding-Tabelle; fθ erzeugt kontextabhängige Repräsentationen h. Vor einem Vergleich müssen Schicht und Metrik feststehen.
Grenzen der Interpretation
Nähe hängt von Repräsentation und Metrik ab. Sie kann bei der Dokumentensuche helfen, ohne gleiche Bedeutung oder menschliches Verstehen zu beweisen.