Aller au contenuExpérimenter
Du texte aux représentations
Comprendre pourquoi les mots deviennent des vecteurs, sans confondre vecteur et sens humain.
L’essentiel
Comment cela fonctionne
Une table d’embeddings associe un identifiant de token à un vecteur. Les couches suivantes transforment et combinent ces vecteurs avec le contexte. La représentation de « banque » peut donc dépendre des mots qui l’entourent et de l’objectif appris.
À retenir
La proximité entre vecteurs dépend de la représentation et de la métrique. Elle peut aider une recherche de documents sans prouver une équivalence de sens ni une compréhension humaine.
De la notion à l’usageMettre en pratique
Sources scientifiques
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Publication originale
Synthèse pédagogique des sources citées. Les résultats des publications restent liés à leurs tâches, protocoles et budgets.