定義
トークンは単語、単語の一部、記号などです。自己回帰言語モデルはコンテキストからスコアを計算し、正規化して分布を作ります。デコードがトークンを選び、そのトークンを次のステップのコンテキストに加えます。
式
pは基準分布、qは変換後の分布、Tは正の温度です。qの合計は1で、表示値は丸めています。
前提と記号
pは基準分布、qは変換後の分布、Tは正の温度です。qの合計は1で、表示値は丸めています。
解釈の限界
確率はその文脈でのモデルの選好を表し、真実の確率ではありません。温度は知識を追加せず抽出を変えます。この例の候補は架空の3つだけです。