Ir al contenido
Del contexto al siguiente token
Distingue las probabilidades del modelo y la regla que elige una salida.
Simulación didáctica · valores ficticios
¿Qué cambia la temperatura?
El cielo está…
Referencia · T = 1
azul 60 %
gris 30 %
claro 10 %
0 %25 %50 %75 %100 %
Tu ajuste · T = 1
azul 60 %
gris 30 %
claro 10 %
0 %25 %50 %75 %100 %
T = 1: se conserva la distribución de referencia.
Solo tres posibilidades. No se consulta ningún modelo real; una muestra no mide la calidad de una respuesta.
Comprobar lo aprendido
Antes de responder, formula tu explicación.
Aumentar la temperatura puede hacer más probable un token inicialmente raro.
Qué recordar
La probabilidad expresa preferencia del modelo, no veracidad. La temperatura modifica el muestreo sin añadir conocimiento. El ejemplo contiene solo tres posibilidades ficticias.
ProfundizarDel concepto al usoPoner en práctica · ChatGPT
Fuentes científicas
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Publicación original
Síntesis didáctica de las fuentes citadas. Los resultados dependen de las tareas, protocolos y recursos de cada publicación.