HarmonyFidelisHarmonyFidelis
Войти
К содержанию
AURA
Изучить ИИНастроить ИИПубличные программы
Изучить ИИ

Первые понятия

ОбучениеИнференс

Механизмы

ПредставленияКонтекст и памятьАрхитектурыДиффузия

Передовые исследования

Рассуждение и агентыМодели мираAGI и ASIОценка

Каждый раздел можно изучать независимо. Подробности доступны в любой момент.

Главная Aura
AuraПонять ИИИнференс

От контекста к следующему токену

Различайте вероятности модели и правило выбора результата.

ГлавноеЭкспериментПодробнее
Научные источники
Определение

Токен может быть словом, его частью или знаком. Авторегрессионная языковая модель вычисляет оценки по контексту. Нормирование даёт распределение; декодирование выбирает токен и добавляет его в контекст следующего шага.

Формула

qᵢ = pᵢ^(1/T) / Σⱼ pⱼ^(1/T), T > 0

p — исходное распределение, q — преобразованное, T — положительная температура. Сумма q равна 1; показанные значения округлены.

Допущения и обозначения

p — исходное распределение, q — преобразованное, T — положительная температура. Сумма q равна 1; показанные значения округлены.

Ограничения интерпретации

Вероятность выражает предпочтение модели, а не истинность фразы. Температура меняет выборку без добавления знаний. Здесь показаны только три условных варианта.

На этой странице

ОпределениеФормулаДопущения и обозначенияОграничения интерпретацииНаучные источники
Главное
От понятия к практикеПрименить на практике · ChatGPT

Научные источники

  • Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023
    Первичная публикация

Учебное изложение указанных источников. Результаты публикаций ограничены их задачами, протоколами и ресурсами.

Изучить такжеПредставленияОценка

Поиск Aura

18 результатов

Изучить ИИОбучить модель, затем использовать еёОтделяйте выученные параметры от информации текущего запроса.
Изучить ИИОт контекста к следующему токенуРазличайте вероятности модели и правило выбора результата.
Изучить ИИОт текста к представлениямПонимайте векторы, не приравнивая их к человеческому смыслу.
Изучить ИИО какой памяти идёт речь?Разделяйте контекст, рекуррентное состояние, параметры и постоянное хранилище.
Изучить ИИTransformers: механизм вниманияСравнивайте архитектуры, методы и полные системы на подходящем уровне.
Изучить ИИГенерация удалением шумаРазличайте зашумление при обучении и пошаговую генерацию.
Изучить ИИОт модели к действующей системеПоймите исполнительную среду вокруг модели и инструментов.
Изучить ИИПредсказывать, чтобы выбирать действиеИсследуйте длинный горизонт и риск неверного прогноза.
Изучить ИИОпределения вместо единого вердиктаИзучите общность, результативность и адаптацию до применения ярлыка.
Изучить ИИЧто позволяет заключить результатПереходите от убедительного впечатления к воспроизводимому сравнению.
Настроить ИИПодготовить проект ChatGPTЧёткая цель, нужный контекст и инструкции для практического использования.
Настроить ИИВыбрать под вашу задачуНачните с потребностей. Сравните доступ и результаты без универсального рейтинга моделей.
Настроить ИИСделать запрос проверяемымПреобразуйте намерение в цель, контекст и критерии успеха.
Настроить ИИРазместить информацию правильноРазличайте правила работы, материалы задачи и память, которой управляет продукт.
Настроить ИИПодготовить среду разработкиОпределите роль модели, возможности среды и необходимые права доступа.
Настроить ИИСоставить процесс разработкиОрганизуйте подготовку, изменения, проверку и отчёт. Повторно используйте полезные шаги.
Настроить ИИПодготовить задачу и проверить результатВоспроизводимый пример, список проверок и запись наблюдений.
Публичные программыTentacularПублично представленные задачи, функции и материалы.