跳转到内容
从上下文到下一个词元
区分模型给出的概率与选择输出的规则。
教学模拟 · 虚构数值
温度改变了什么？
天空是…
基准 · T = 1
蓝色
灰色
明朗
0 %25 %50 %75 %100 %
你的设置 · T = 1
蓝色
灰色
明朗
0 %25 %50 %75 %100 %
T = 1：保留基准分布。
只有三个候选项。未调用真实模型；一次采样不能衡量回答质量。
检查理解
回答前，先用自己的话解释。
提高温度可能让原本罕见的词元更容易被选中。
从概念到应用应用于实践 · ChatGPT
科学来源
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023原始文献
基于所引公开资料的教学总结。论文结果受其任务、协议和资源预算约束。