Définition
Une table d’embeddings associe un identifiant de token à un vecteur. Les couches suivantes transforment et combinent ces vecteurs avec le contexte. La représentation de « banque » peut donc dépendre des mots qui l’entourent et de l’objectif appris.
Équation
E est la table d’embeddings ; fθ transforme les entrées en représentations contextuelles h. Une couche et une métrique doivent être précisées avant de comparer des vecteurs.
Hypothèses et notation
E est la table d’embeddings ; fθ transforme les entrées en représentations contextuelles h. Une couche et une métrique doivent être précisées avant de comparer des vecteurs.
Limites de l’interprétation
La proximité entre vecteurs dépend de la représentation et de la métrique. Elle peut aider une recherche de documents sans prouver une équivalence de sens ni une compréhension humaine.