Ir al contenidoExperimentar
Transformers: entender la atención
Compara arquitecturas, métodos y sistemas completos al nivel adecuado.
Lo esencial
Cómo funciona
Un Transformer combina atención, información posicional y transformaciones locales. Una red recurrente actualiza un estado con cada entrada. La arquitectura define cómo se calcula; el objetivo de aprendizaje define qué mejora la optimización.
Qué recordar
La difusión puede utilizar distintas redes. DreamerV3 y MuZero organizan componentes en sistemas de aprendizaje y decisión. Sus nombres no son categorías intercambiables.
Comparar los niveles adecuados
- Arquitectura
- Transformer · Red recurrente
- Método de aprendizaje / generación
- Supervisado · autosupervisado · refuerzo · difusión
- Sistema de aprendizaje y decisión
- DreamerV3 · MuZero
Del concepto al usoPoner en práctica
Fuentes científicas
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Publicación original
- Hochreiter & Schmidhuber · 1997Long Short-Term MemoryPublicación original
- Ho, Jain & Abbeel · 2020Denoising Diffusion Probabilistic ModelsPublicación original
- Jain & Wallace · 2019Attention is not ExplanationPublicación original
Síntesis didáctica de las fuentes citadas. Los resultados dependen de las tareas, protocolos y recursos de cada publicación.