HarmonyFidelisHarmonyFidelis
Connexion
Aller au contenu
AURA
ComprendreConfigurerProgrammes publics
Comprendre

Premiers repères

ApprentissageInférence

Mécanismes

ReprésentationsContexte & mémoireArchitecturesDiffusion

Recherches avancées

Raisonnement & agentsModèles du mondeAGI & ASIÉvaluation

Chaque espace se visite librement. Les détails restent accessibles à tout moment.

Entrée Aura
AuraComprendre l’IAArchitectures

Transformers : comprendre l’attention

Comparer architectures, méthodes d’apprentissage et systèmes complets au bon niveau.

L’essentielExpérimenterApprofondir
Sources scientifiques

L’essentiel

Comment cela fonctionne

Un Transformer combine notamment attention, transformations locales et information de position. Un réseau récurrent met à jour un état au fil des entrées. Une architecture indique comment calculer ; l’objectif d’apprentissage indique ce que l’optimisation cherche à améliorer.

À retenir

La diffusion est une méthode de modélisation et de génération qui peut utiliser différents réseaux. DreamerV3 et MuZero organisent plusieurs composants en systèmes d’apprentissage et de décision. Ces noms ne sont pas des catégories interchangeables.

Expérimenter

Comparer les bons niveaux

Architecture
Transformer · Réseau récurrent
Méthode d’apprentissage / génération
Supervisé · auto-supervisé · renforcement · diffusion
Système d’apprentissage et de décision
DreamerV3 · MuZero
De la notion à l’usageMettre en pratique

Sources scientifiques

  • Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023
    Publication originale
  • Hochreiter & Schmidhuber · 1997Long Short-Term Memory
    Publication originale
  • Ho, Jain & Abbeel · 2020Denoising Diffusion Probabilistic Models
    Publication originale
  • Jain & Wallace · 2019Attention is not Explanation
    Publication originale

Synthèse pédagogique des sources citées. Les résultats des publications restent liés à leurs tâches, protocoles et budgets.

Explorer aussiDiffusionInférence

Rechercher Aura

18 résultats

ComprendreApprendre, puis utiliser un modèleDistinguer les paramètres appris des informations fournies au moment d’une demande.
ComprendreDu contexte au prochain tokenDistinguer les probabilités du modèle de la règle utilisée pour choisir une sortie.
ComprendreDu texte aux représentationsComprendre pourquoi les mots deviennent des vecteurs, sans confondre vecteur et sens humain.
ComprendreDe quelle mémoire parle-t-on ?Séparer contexte de travail, état récurrent, paramètres appris et stockage persistant.
ComprendreTransformers : comprendre l’attentionComparer architectures, méthodes d’apprentissage et systèmes complets au bon niveau.
ComprendreGénérer par débruitageSuivre la différence entre corruption pendant l’apprentissage et génération progressive.
ComprendreDu modèle au système qui agitComprendre le rôle du harnais autour d’un modèle et de ses outils.
ComprendrePrédire pour choisir une actionExplorer l’effet d’un horizon plus long et le risque d’un modèle inexact.
ComprendreDes définitions, pas un verdict uniqueExaminer la généralité, la performance et l’adaptation avant d’employer une étiquette.
ComprendreCe qu’un résultat permet de conclurePasser d’une impression convaincante à une comparaison reproductible.
ConfigurerPréparer un projet ChatGPTUn objectif clair, le bon contexte et des instructions que vous pouvez réellement utiliser.
ConfigurerChoisir pour votre tâcheCommencez par votre besoin. Comparez les accès et les résultats, sans classement universel des modèles.
ConfigurerRendre votre demande vérifiableTransformez une intention en objectif, contexte et critères de réussite.
ConfigurerDonner la bonne information au bon endroitDistinguez les règles de travail, les ressources de la tâche et la mémoire gérée par le produit.
ConfigurerPréparer un environnement de développementDéfinissez le rôle du modèle, les capacités du harnais et les accès réellement nécessaires.
ConfigurerComposer une procédure de développementOrganisez préparation, modification, vérification et restitution. Réutilisez les étapes qui vous aident.
ConfigurerPréparer une mission, puis vérifier le résultatUn exemple reproductible, une liste de contrôle et un compte rendu de vos observations.
Programmes publicsTentacularUsages, fonctions et ressources publiquement disponibles.