К содержаниюЭксперимент
От контекста к следующему токену
Различайте вероятности модели и правило выбора результата.
Главное
Как это работает
Токен может быть словом, его частью или знаком. Авторегрессионная языковая модель вычисляет оценки по контексту. Нормирование даёт распределение; декодирование выбирает токен и добавляет его в контекст следующего шага.
Ключевая мысль
Вероятность выражает предпочтение модели, а не истинность фразы. Температура меняет выборку без добавления знаний. Здесь показаны только три условных варианта.
От понятия к практикеПрименить на практике · ChatGPT
Научные источники
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Первичная публикация
Учебное изложение указанных источников. Результаты публикаций ограничены их задачами, протоколами и ресурсами.