Ir ao conteúdoExperimentar
Transformers: entender a atenção
Compare arquiteturas, métodos e sistemas completos no nível correto.
O essencial
Como funciona
Um Transformer combina atenção, informação posicional e transformações locais. Uma rede recorrente atualiza estado a cada entrada. A arquitetura define como calcular; o objetivo de aprendizagem define o que a otimização melhora.
Para lembrar
A difusão pode usar redes diferentes. DreamerV3 e MuZero organizam componentes em sistemas de aprendizagem e decisão. Esses nomes não são categorias intercambiáveis.
Comparar os níveis corretos
- Arquitetura
- Transformer · Rede recorrente
- Método de aprendizagem / geração
- Supervisionado · autossupervisionado · reforço · difusão
- Sistema de aprendizagem e decisão
- DreamerV3 · MuZero
Do conceito à práticaColocar em prática
Fontes científicas
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Publicação original
- Hochreiter & Schmidhuber · 1997Long Short-Term MemoryPublicação original
- Ho, Jain & Abbeel · 2020Denoising Diffusion Probabilistic ModelsPublicação original
- Jain & Wallace · 2019Attention is not ExplanationPublicação original
Síntese didática das fontes citadas. Os resultados dependem das tarefas, protocolos e recursos de cada publicação.