HarmonyFidelisHarmonyFidelis
Anmelden
Zum Inhalt
AURA
VerstehenKonfigurierenÖffentliche Programme
Verstehen

Grundlagen

LernenInferenz

Mechanismen

RepräsentationenKontext & GedächtnisArchitekturenDiffusion

Vertiefende Forschung

Schlussfolgern & AgentenWeltmodelleAGI & ASIEvaluation

Jeder Bereich ist frei zugänglich. Vertiefungen sind jederzeit erreichbar.

Aura-Startseite
AuraKI verstehenArchitekturen

Transformers: Aufmerksamkeit verstehen

Architekturen, Lernmethoden und Gesamtsysteme passend vergleichen.

Das WesentlicheExperimentierenVertiefen
Wissenschaftliche Quellen

Das Wesentliche

So funktioniert es

Ein Transformer kombiniert Aufmerksamkeit, Positionsinformation und lokale Transformationen. Ein rekurrentes Netz aktualisiert seinen Zustand mit jeder Eingabe. Architektur beschreibt die Berechnung; das Lernziel beschreibt das Optimierungsziel.

Merksatz

Diffusion kann verschiedene Netze verwenden. DreamerV3 und MuZero organisieren Komponenten zu Lern- und Entscheidungssystemen. Diese Namen bezeichnen keine austauschbaren Kategorien.

Experimentieren

Die richtigen Ebenen vergleichen

Architektur
Transformer · Rekurrentes Netz
Lern- / Generationsmethode
Überwacht · selbstüberwacht · Verstärkung · Diffusion
Lern- und Entscheidungssystem
DreamerV3 · MuZero
Vom Konzept zur AnwendungPraktisch anwenden

Wissenschaftliche Quellen

  • Vaswani et al. · 2017Attention Is All You NeedarXiv v7 · 2023
    Originalpublikation
  • Hochreiter & Schmidhuber · 1997Long Short-Term Memory
    Originalpublikation
  • Ho, Jain & Abbeel · 2020Denoising Diffusion Probabilistic Models
    Originalpublikation
  • Jain & Wallace · 2019Attention is not Explanation
    Originalpublikation

Didaktische Zusammenfassung der Quellen. Ergebnisse gelten im Rahmen der jeweiligen Aufgaben, Protokolle und Budgets.

Weiter erkundenDiffusionInferenz

Suchen Aura

18 Ergebnisse

VerstehenEin Modell lernen lassen und anwendenGelernte Parameter von Informationen einer Anfrage unterscheiden.
VerstehenVom Kontext zum nächsten TokenModellwahrscheinlichkeiten und Auswahlregel unterscheiden.
VerstehenVom Text zur RepräsentationVektoren verstehen, ohne sie mit menschlicher Bedeutung gleichzusetzen.
VerstehenWelches Gedächtnis ist gemeint?Kontext, rekurrenten Zustand, Parameter und dauerhaften Speicher trennen.
VerstehenTransformers: Aufmerksamkeit verstehenArchitekturen, Lernmethoden und Gesamtsysteme passend vergleichen.
VerstehenDurch Entrauschen erzeugenKorruption beim Lernen von schrittweiser Erzeugung unterscheiden.
VerstehenVom Modell zum handelnden SystemDie Ausführungsumgebung um Modell und Werkzeuge verstehen.
VerstehenVorhersagen, um zu entscheidenLängere Horizonte und das Risiko falscher Vorhersagen erkunden.
VerstehenDefinitionen statt eines einzigen UrteilsAllgemeinheit, Leistung und Anpassung vor einem Etikett prüfen.
VerstehenWas ein Ergebnis belegtVom überzeugenden Eindruck zum reproduzierbaren Vergleich.
KonfigurierenEin ChatGPT-Projekt vorbereitenEin klares Ziel, relevanter Kontext und praktisch nutzbare Anweisungen.
KonfigurierenPassend zur Aufgabe wählenBeginnen Sie mit Ihrem Bedarf. Vergleichen Sie Zugriffe und Ergebnisse statt pauschaler Modellranglisten.
KonfigurierenIhre Anfrage überprüfbar machenFormulieren Sie aus einer Absicht ein Ziel, Kontext und Erfolgskriterien.
KonfigurierenInformationen am richtigen Ort bereitstellenUnterscheiden Sie Arbeitsregeln, Aufgabenmaterial und produktseitig verwaltetes Gedächtnis.
KonfigurierenEine Entwicklungsumgebung vorbereitenBestimmen Sie Modellrolle, Fähigkeiten der Umgebung und tatsächlich benötigte Zugriffe.
KonfigurierenEinen Entwicklungsablauf zusammenstellenOrganisieren Sie Vorbereitung, Änderung, Prüfung und Bericht. Nutzen Sie hilfreiche Schritte erneut.
KonfigurierenAuftrag vorbereiten und Ergebnis prüfenEin reproduzierbares Beispiel, eine Checkliste und Ihre Beobachtungen.
Öffentliche ProgrammeTentacularÖffentlich verfügbare Anwendungen, Funktionen und Ressourcen.