Definición
Una tabla de embeddings asocia identificadores de tokens con vectores. Las capas siguientes los transforman y combinan con el contexto. La representación de «banco» puede depender de las palabras que lo rodean y del objetivo aprendido.
Ecuación
E es la tabla de embeddings y fθ genera representaciones contextuales h. Antes de comparar vectores, especifica la capa y la métrica.
Supuestos y notación
E es la tabla de embeddings y fθ genera representaciones contextuales h. Antes de comparar vectores, especifica la capa y la métrica.
Límites de interpretación
La cercanía depende de la representación y la métrica. Puede ayudar a recuperar documentos sin probar equivalencia de significado ni comprensión humana.