テキストから表現へ

ベクトルを人間の意味そのものと同一視せずに理解します。

仕組み

表現

埋め込み表はトークンIDをベクトルに対応付けます。後続の層がコンテキストと組み合わせて変換します。同じ語でも、周囲の語や学習した目的によって内部表現が変わりえます。

答える前に、自分の言葉で説明してみてください。

近いベクトルは、どの課題でも必ず同じ概念を表す。

近さは表現と距離尺度に依存します。文書検索に役立つ近さでも、意味の一致や人間と同じ理解を証明するわけではありません。

引用した公開資料の学習用要約です。各論文の結果は、その課題、手順、計算資源の条件に依存します。