定义
嵌入表把词元编号映射到向量。后续层结合上下文变换这些向量。同一个词的内部表征可能随周围词语和所学目标而变化。
公式
E是嵌入表；fθ将输入转换为上下文表征h。比较向量前应明确所用层和度量方式。
假设与符号
E是嵌入表；fθ将输入转换为上下文表征h。比较向量前应明确所用层和度量方式。
解释的局限
向量接近程度取决于表征与度量。它可能有助于文档检索，却不能证明意义相同或具有人类式理解。
跳转到内容xᵢ = E[tokenᵢ]; hᵢ = fθ(x₁, …, xₙ)ᵢ
从文本到表征
理解向量，但不把向量等同于人类的意义。
从概念到应用应用于实践
科学来源
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023原始文献
基于所引公开资料的教学总结。论文结果受其任务、协议和资源预算约束。