モデルを学習させてから使う

学習済みパラメータと、依頼時に渡す情報を区別します。

定義

学習は損失を減らしたり報酬を増やしたりするためにパラメータを調整します。目的、データ、最適化手順が学習内容を決めます。推論時には、そのパラメータと利用可能なコンテキストから出力を計算します。

式

θ ← θ − η ∇θ L(θ)

θはパラメータ、Lは損失、ηは学習率です。この勾配降下の更新は例であり、すべてのシステムが同じ規則を使うわけではありません。

θはパラメータ、Lは損失、ηは学習率です。この勾配降下の更新は例であり、すべてのシステムが同じ規則を使うわけではありません。

指示を変えると入力は変わりますが、必ずしも再学習は起こりません。教師あり学習、自己教師あり学習、強化学習は方法であり、アーキテクチャではありません。

引用した公開資料の学習用要約です。各論文の結果は、その課題、手順、計算資源の条件に依存します。