AURA / Apprendre

Une idée à la fois.

Explorez librement les modules. Les exercices sont des repères pédagogiques, pas une certification.

Débutant à intermédiaire

Comment fonctionnent les grands modèles de langage

Un LLM prédit des tokens à partir du contexte. L’échelle et l’entraînement rendent cet objectif simple étonnamment puissant, mais le modèle génère toujours des continuations probables au lieu de consulter une réserve garantie de faits.

Résultat attendu

Expliquer tokens, embeddings, attention et Transformer à un niveau pratique.
Distinguer pré-entraînement, post-entraînement et inférence.
Prévoir l’effet du contexte, de l’échantillonnage et de la mémoire externe.

Schéma interactif

De l’entrée à la réponse.

À retenir

L’utilisateur fournit une demande. Elle ne décrit pas toujours tout ce que le système doit savoir.

« Résume cette note. »

Schéma de principe, pas une visualisation des activations d’un modèle réel.

1 / 5

Tokenisation

Le texte est découpé en unités apprises. Un token n’est pas toujours un mot : orthographe, langue et format changent le compte et le coût.

Du texte au texte généré

1Tokeniser
2Vectoriser
3Porter attention
4Prédire le token
5Répéter avec le contexte

La fenêtre de contexte est un état de travail, pas une mémoire durable. Un contexte plus long aide seulement si l’information est présente, accessible et bien utilisée.

Les confusions à éviter

Le token n’est pas une unité stable de mot : compte de mots et compte de tokens diffèrent.
Une grande fenêtre de contexte ne garantit pas une attention uniforme ; une preuve importante peut être manquée.
Le post-entraînement façonne le comportement sans transformer des probabilités générées en vérité garantie.

Sources de la section

Marquer le module comme parcouru

Progression déclarée par vous. Elle ne mesure pas une maîtrise scientifique.

IA, machine learning et deep learning

L’intelligence artificielle est le domaine général. Le machine learning apprend des régularités à partir de données ; le deep learning emploie des réseaux de neurones profonds pour apprendre des représentations. Un produit utile est un système plus large autour du modèle.

L’IA est un domaine, pas une technologie unique

Elle réunit règles, recherche, planification, optimisation, probabilités, apprentissage automatique et hybrides. La méthode suffisante la plus simple est souvent la plus fiable.

Un modèle n’est pas le produit

Le modèle transforme des entrées en sorties. Le produit comprend aussi données, interfaces, permissions, supervision, solution de repli et décisions humaines.

Apprendre signifie ajuster à partir de preuves

Le supervisé utilise des exemples étiquetés ; l’auto-supervisé crée son signal depuis les données brutes ; le renforcement emploie des récompenses issues de l’interaction.

Le deep learning apprend des représentations

Des couches de neurones transforment l’entrée en caractéristiques internes utiles. L’entraînement ajuste les paramètres selon les gradients qui réduisent une fonction de perte.

La généralisation est le vrai test

Une faible erreur d’entraînement ne suffit pas. Le modèle doit réussir sur des cas pertinents et inédits, sans fuite de données ni raccourcis fragiles.

Comment fonctionnent les grands modèles de langage

Tokenisation

Le texte est découpé en unités apprises. Un token n’est pas toujours un mot : orthographe, langue et format changent le compte et le coût.

Embeddings

Les tokens deviennent des vecteurs. L’entraînement fait émerger des relations géométriques utiles pour opérer sur des représentations contextualisées.

Attention et Transformers

L’auto-attention permet à chaque position de pondérer les autres. Les blocs Transformer répètent attention et calculs feed-forward.

Pré-entraînement et post-entraînement

Le pré-entraînement apprend des régularités par prédiction. SFT, RLHF ou DPO façonnent ensuite le suivi d’instructions et le comportement.

Inférence

À l’usage, le modèle calcule une distribution puis sélectionne le token suivant, encore et encore. Les réglages d’échantillonnage modulent la variation, pas les connaissances.

Les compétences essentielles pour les applications LLM

La fiabilité vient de l’architecture, des frontières et de l’évaluation. Chaque technique traite une famille de pannes différente ; les cumuler sans diagnostic ajoute coût et surface d’attaque.

Contrats de prompt et sorties structurées

Précisez tâche, contexte utile, contraintes et critères de réussite. Un schéma rend la sortie lisible par machine, mais doit être validé et ne prouve pas les faits.

Génération augmentée par recherche

Le RAG retrouve des passages externes et les ajoute au contexte. Fraîcheur et traçabilité s’améliorent seulement si indexation, recherche et usage des preuves sont bons.

Outils et MCP

Le function calling fait proposer au modèle des arguments structurés. L’hôte valide, autorise et exécute. MCP standardise l’exposition de ressources, prompts et outils.

Agents et orchestration

Une boucle agentique observe, planifie, appelle des outils et met à jour son état. Bornez étapes, coût, permissions et effets ; gardez les invariants dans du code déterministe.

Adaptation et déploiement

Fine-tuning ou LoRA peuvent façonner un comportement répétitif ; la quantification réduit les ressources. Aucun ne remplace connaissances, permissions, évaluation ou données solides.

Évaluer la qualité, la sécurité et la réalité opérationnelle

Une démonstration impressionnante ne prouve pas un comportement fiable. Définissez la décision, réunissez des cas représentatifs, comparez une baseline, examinez les échecs et imposez des seuils explicites.

Tâche et baseline

Définissez un succès observable et comparez le processus actuel ou une méthode plus simple. Incluez cas typiques, rares, ambigus et adversariaux.

Qualité et calibration

Mesurez utilité, appui factuel, validité des citations, cohérence et abstention appropriée. Une moyenne unique peut masquer les pires échecs.

Sécurité et confidentialité

Testez injection directe et indirecte, contenu récupéré malveillant, abus d’outils, divulgation et privilèges. Toute sortie du modèle est une entrée non fiable.

Mesures opérationnelles

Suivez latence de bout en bout et en queue, coût tokens/outils, disponibilité et reprise. Versionnez ensemble modèles, prompts, outils, politiques, données et évaluations.

Déploiement et gouvernance

Commencez par peu d’utilisateurs et de permissions, observez le réel, conservez un repli humain ou déterministe, un coupe-circuit et un rollback.

Comment fonctionnent les grands modèles de langage

Résultat attendu

Expliquer tokens, embeddings, attention et Transformer à un niveau pratique.
Distinguer pré-entraînement, post-entraînement et inférence.
Prévoir l’effet du contexte, de l’échantillonnage et de la mémoire externe.

Tokenisation

Le texte est découpé en unités apprises. Un token n’est pas toujours un mot : orthographe, langue et format changent le compte et le coût.

Du texte au texte généré

1Tokeniser
2Vectoriser
3Porter attention
4Prédire le token
5Répéter avec le contexte

La fenêtre de contexte est un état de travail, pas une mémoire durable. Un contexte plus long aide seulement si l’information est présente, accessible et bien utilisée.

Les confusions à éviter

Le token n’est pas une unité stable de mot : compte de mots et compte de tokens diffèrent.
Une grande fenêtre de contexte ne garantit pas une attention uniforme ; une preuve importante peut être manquée.
Le post-entraînement façonne le comportement sans transformer des probabilités générées en vérité garantie.