Ce qu’un résultat permet de conclure
Passer d’une impression convaincante à une comparaison reproductible.
Comment cela fonctionne
Évaluation
Définissez la tâche, les données, une référence et des critères avant l’essai. Gardez des exemples distincts de ceux utilisés pour ajuster la configuration. Notez les erreurs, les ressources et la variation entre essais lorsque les sorties sont aléatoires.
Vérifier ma compréhension
Avant de répondre, formulez votre explication.
Tester uniquement les exemples qui ont servi à régler une consigne peut surestimer sa qualité.
À retenir
Un échantillon étroit, la contamination ou l’adaptation au test peut fausser la conclusion. Testez aussi des cas nouveaux et des échecs. Un bon score n’est pas une garantie sur un autre domaine.
ApprofondirSources scientifiques
- Chollet · 2019On the Measure of IntelligencePublication originale
- Morris et al. · 2023Levels of AGIarXiv v5 · 2025Publication originale
Synthèse pédagogique des sources citées. Les résultats des publications restent liés à leurs tâches, protocoles et budgets.