从上下文到下一个词元

区分模型给出的概率与选择输出的规则。

定义

词元可以是一个词、词的一部分或符号。自回归语言模型根据上下文计算分数，经归一化得到分布。解码过程选择一个词元，再将它加入下一步的上下文。

公式

qᵢ = pᵢ^(1/T) / Σⱼ pⱼ^(1/T), T > 0

p是基准分布，q是变换后的分布，T是正温度。q的总和为1；显示值经过四舍五入。

p是基准分布，q是变换后的分布，T是正温度。q的总和为1；显示值经过四舍五入。

概率表示模型在该上下文中的偏好，不等于句子为真的概率。温度改变采样，不增加知识。示例只有三个虚构候选项。

基于所引公开资料的教学总结。论文结果受其任务、协议和资源预算约束。