Ir al contenidoExperimentar
Del contexto al siguiente token
Distingue las probabilidades del modelo y la regla que elige una salida.
Lo esencial
Cómo funciona
Un token puede ser una palabra, un fragmento o un signo. Un modelo autorregresivo calcula puntuaciones desde el contexto. La normalización produce una distribución; la decodificación elige un token y lo incorpora al contexto para el siguiente paso.
Qué recordar
La probabilidad expresa preferencia del modelo, no veracidad. La temperatura modifica el muestreo sin añadir conocimiento. El ejemplo contiene solo tres posibilidades ficticias.
Del concepto al usoPoner en práctica · ChatGPT
Fuentes científicas
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Publicación original
Síntesis didáctica de las fuentes citadas. Los resultados dependen de las tareas, protocolos y recursos de cada publicación.