定義
埋め込み表はトークンIDをベクトルに対応付けます。後続の層がコンテキストと組み合わせて変換します。同じ語でも、周囲の語や学習した目的によって内部表現が変わりえます。
式
Eは埋め込み表、fθは入力から文脈依存の表現hを作る変換です。比較する前に層と距離尺度を定めます。
前提と記号
Eは埋め込み表、fθは入力から文脈依存の表現hを作る変換です。比較する前に層と距離尺度を定めます。
解釈の限界
近さは表現と距離尺度に依存します。文書検索に役立つ近さでも、意味の一致や人間と同じ理解を証明するわけではありません。