Transformer：注意の仕組み

アーキテクチャ、学習方法、システム全体を同じ階層で比較します。

定義

Transformerは注意、位置情報、局所的な変換などを組み合わせます。再帰型ネットワークは入力ごとに状態を更新します。アーキテクチャは計算方法、学習目的は最適化で改善する対象を定めます。

スケール付き内積注意

Attention(Q,K,V) = softmax(QKᵀ / √dₖ)V

Qはクエリ、Kはキー、Vはバリューです。QKᵀを√dₖで割り、行ごとのsoftmaxでVを合成する重みを作ります。

Q [n_q × dₖ]
Kᵀ [dₖ × nₖ]
↓
QKᵀ [n_q × nₖ]

softmax(QKᵀ / √dₖ)
[n_q × nₖ]
Σⱼ wᵢⱼ = 1

W [n_q × nₖ]
V [nₖ × dᵥ]
↓
O [n_q × dᵥ]

1つのヘッドを示します。Qはn_q行、KとVはnₖ行です。QとKの列数はdₖです。自己注意では同じ系列から射影します。

自己回帰予測では因果マスクが未来の位置を除外します。射影、複数ヘッド、局所的な層、残差接続がTransformerを構成します。注意重みだけでは動作の因果的な説明にはなりません。

拡散は異なるネットワークを使えます。DreamerV3とMuZeroは複数の要素を学習・意思決定システムとして構成します。これらの名称は同列の分類ではありません。

引用した公開資料の学習用要約です。各論文の結果は、その課題、手順、計算資源の条件に依存します。