跳转到内容动手实验
Transformer：理解注意力
在合适层次上比较架构、学习方法和完整系统。
要点
工作原理
Transformer结合注意力、位置信息与局部变换等组件。循环网络根据连续输入更新状态。架构说明如何计算，学习目标说明优化要改善什么。
要记住的内容
扩散方法可以使用不同网络。DreamerV3和MuZero将组件组织成学习与决策系统。这些名称不是可互换的类别。
在正确层次上比较
- 架构
- Transformer · 循环网络
- 学习／生成方法
- 监督 · 自监督 · 强化 · 扩散
- 学习与决策系统
- DreamerV3 · MuZero
从概念到应用应用于实践
科学来源
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023原始文献
- Hochreiter & Schmidhuber · 1997Long Short-Term Memory原始文献
- Ho, Jain & Abbeel · 2020Denoising Diffusion Probabilistic Models原始文献
- Jain & Wallace · 2019Attention is not Explanation原始文献
基于所引公开资料的教学总结。论文结果受其任务、协议和资源预算约束。