К содержанию
От текста к представлениям
Понимайте векторы, не приравнивая их к человеческому смыслу.
Как это работает
Представления
Таблица эмбеддингов сопоставляет идентификаторам токенов векторы. Следующие слои преобразуют их с учётом контекста. Представление слова может зависеть от окружающих слов и цели обучения.
Проверить понимание
Прежде чем ответить, сформулируйте своё объяснение.
Близкие векторы обязательно обозначают одну идею во всех задачах.
Ключевая мысль
Близость зависит от представления и метрики. Она может помогать поиску документов, не доказывая равенство смысла или человеческое понимание.
ПодробнееОт понятия к практикеПрименить на практике
Научные источники
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Первичная публикация
Учебное изложение указанных источников. Результаты публикаций ограничены их задачами, протоколами и ресурсами.