Zum InhaltExperimentieren
Vom Text zur Repräsentation
Vektoren verstehen, ohne sie mit menschlicher Bedeutung gleichzusetzen.
Das Wesentliche
So funktioniert es
Eine Embedding-Tabelle ordnet Token-IDs Vektoren zu. Weitere Schichten verändern und kombinieren sie mit dem Kontext. Die Repräsentation von „Bank“ kann von Nachbarwörtern und dem erlernten Ziel abhängen.
Merksatz
Nähe hängt von Repräsentation und Metrik ab. Sie kann bei der Dokumentensuche helfen, ohne gleiche Bedeutung oder menschliches Verstehen zu beweisen.
Vom Konzept zur AnwendungPraktisch anwenden
Wissenschaftliche Quellen
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Originalpublikation
Didaktische Zusammenfassung der Quellen. Ergebnisse gelten im Rahmen der jeweiligen Aufgaben, Protokolle und Budgets.