Ir ao conteúdoExperimentar
Do contexto ao próximo token
Diferencie probabilidades do modelo e regra de escolha da saída.
O essencial
Como funciona
Um token pode ser uma palavra, parte dela ou um sinal. Um modelo autorregressivo calcula pontuações a partir do contexto. A normalização produz uma distribuição; a decodificação seleciona um token, incorporado ao contexto do próximo passo.
Para lembrar
Probabilidade expressa preferência do modelo, não verdade. A temperatura muda o sorteio sem acrescentar conhecimento. O exemplo contém apenas três possibilidades fictícias.
Do conceito à práticaColocar em prática · ChatGPT
Fontes científicas
- Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023Publicação original
Síntese didática das fontes citadas. Os resultados dependem das tarefas, protocolos e recursos de cada publicação.