跳转到内容
从文本到表征
理解向量,但不把向量等同于人类的意义。
工作原理
表征
嵌入表把词元编号映射到向量。后续层结合上下文变换这些向量。同一个词的内部表征可能随周围词语和所学目标而变化。
检查理解
回答前,先用自己的话解释。
相近的向量在所有任务中必然表示相同概念。
从概念到应用应用于实践
科学来源
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023原始文献
基于所引公开资料的教学总结。论文结果受其任务、协议和资源预算约束。