跳转到内容动手实验
从上下文到下一个词元
区分模型给出的概率与选择输出的规则。
要点
工作原理
词元可以是一个词、词的一部分或符号。自回归语言模型根据上下文计算分数，经归一化得到分布。解码过程选择一个词元，再将它加入下一步的上下文。
要记住的内容
概率表示模型在该上下文中的偏好，不等于句子为真的概率。温度改变采样，不增加知识。示例只有三个虚构候选项。
从概念到应用应用于实践 · ChatGPT
科学来源
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023原始文献
基于所引公开资料的教学总结。论文结果受其任务、协议和资源预算约束。