HarmonyFidelisHarmonyFidelis
Войти
К содержанию
AURA
Изучить ИИНастроить ИИПубличные программы
Изучить ИИ

Первые понятия

ОбучениеИнференс

Механизмы

ПредставленияКонтекст и памятьАрхитектурыДиффузия

Передовые исследования

Рассуждение и агентыМодели мираAGI и ASIОценка

Каждый раздел можно изучать независимо. Подробности доступны в любой момент.

Главная Aura
AuraПонять ИИАрхитектуры

Transformers: механизм внимания

Сравнивайте архитектуры, методы и полные системы на подходящем уровне.

ГлавноеЭкспериментПодробнее
Научные источники

Главное

Как это работает

Transformer сочетает внимание, информацию о позиции и локальные преобразования. Рекуррентная сеть обновляет состояние с каждым входом. Архитектура задаёт вычисление, цель обучения — то, что улучшает оптимизация.

Ключевая мысль

Диффузия может использовать разные сети. DreamerV3 и MuZero объединяют компоненты в системы обучения и решений. Эти названия не являются взаимозаменяемыми категориями.

Эксперимент

Сравнивать на одном уровне

Архитектура
Transformer · Рекуррентная сеть
Метод обучения / генерации
С учителем · самообучение · подкрепление · диффузия
Система обучения и принятия решений
DreamerV3 · MuZero
От понятия к практикеПрименить на практике

Научные источники

  • Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023
    Первичная публикация
  • Hochreiter & Schmidhuber · 1997Long Short-Term Memory
    Первичная публикация
  • Ho, Jain & Abbeel · 2020Denoising Diffusion Probabilistic Models
    Первичная публикация
  • Jain & Wallace · 2019Attention is not Explanation
    Первичная публикация

Учебное изложение указанных источников. Результаты публикаций ограничены их задачами, протоколами и ресурсами.

Изучить такжеДиффузияИнференс

Поиск Aura

18 результатов

Изучить ИИОбучить модель, затем использовать еёОтделяйте выученные параметры от информации текущего запроса.
Изучить ИИОт контекста к следующему токенуРазличайте вероятности модели и правило выбора результата.
Изучить ИИОт текста к представлениямПонимайте векторы, не приравнивая их к человеческому смыслу.
Изучить ИИО какой памяти идёт речь?Разделяйте контекст, рекуррентное состояние, параметры и постоянное хранилище.
Изучить ИИTransformers: механизм вниманияСравнивайте архитектуры, методы и полные системы на подходящем уровне.
Изучить ИИГенерация удалением шумаРазличайте зашумление при обучении и пошаговую генерацию.
Изучить ИИОт модели к действующей системеПоймите исполнительную среду вокруг модели и инструментов.
Изучить ИИПредсказывать, чтобы выбирать действиеИсследуйте длинный горизонт и риск неверного прогноза.
Изучить ИИОпределения вместо единого вердиктаИзучите общность, результативность и адаптацию до применения ярлыка.
Изучить ИИЧто позволяет заключить результатПереходите от убедительного впечатления к воспроизводимому сравнению.
Настроить ИИПодготовить проект ChatGPTЧёткая цель, нужный контекст и инструкции для практического использования.
Настроить ИИВыбрать под вашу задачуНачните с потребностей. Сравните доступ и результаты без универсального рейтинга моделей.
Настроить ИИСделать запрос проверяемымПреобразуйте намерение в цель, контекст и критерии успеха.
Настроить ИИРазместить информацию правильноРазличайте правила работы, материалы задачи и память, которой управляет продукт.
Настроить ИИПодготовить среду разработкиОпределите роль модели, возможности среды и необходимые права доступа.
Настроить ИИСоставить процесс разработкиОрганизуйте подготовку, изменения, проверку и отчёт. Повторно используйте полезные шаги.
Настроить ИИПодготовить задачу и проверить результатВоспроизводимый пример, список проверок и запись наблюдений.
Публичные программыTentacularПублично представленные задачи, функции и материалы.