本文へ移動実験する
モデルを学習させてから使う
学習済みパラメータと、依頼時に渡す情報を区別します。
要点
仕組み
学習は損失を減らしたり報酬を増やしたりするためにパラメータを調整します。目的、データ、最適化手順が学習内容を決めます。推論時には、そのパラメータと利用可能なコンテキストから出力を計算します。
覚えておきたいこと
指示を変えると入力は変わりますが、必ずしも再学習は起こりません。教師あり学習、自己教師あり学習、強化学習は方法であり、アーキテクチャではありません。
概念から実践へ実践する
科学的な出典
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023原著論文
- Hafner et al. · 2023Mastering Diverse Domains through World ModelsDreamerV3 · arXiv v2 · 2024原著論文
引用した公開資料の学習用要約です。各論文の結果は、その課題、手順、計算資源の条件に依存します。