Transformer：理解注意力

在合适层次上比较架构、学习方法和完整系统。

教学模拟 · 虚构数值

数值示例：一个查询，三个键

K = [[1,0],[0,1],[1,1]]，V = [[1,0],[0,1],[1,1]]，Q = [a,1]，dₖ = 2。这些数值仅用于练习。

Q的第一个分量1

K₁24.8 %

K₂24.8 %

K₃50.3 %

输出 = [0.752 ; 0.752]

自回归预测中的因果掩码排除未来位置。投影、多头、局部变换层和残差连接共同构成Transformer。注意力权重本身不是行为的因果证据。

回答前，先用自己的话解释。

Transformer、扩散和MuZero描述的设计层次完全相同。

扩散方法可以使用不同网络。DreamerV3和MuZero将组件组织成学习与决策系统。这些名称不是可互换的类别。

基于所引公开资料的教学总结。论文结果受其任务、协议和资源预算约束。