Definition
Ein Weltmodell prognostiziert nützliche Aspekte einer Umgebung. DreamerV3 lernt Verhalten anhand vorgestellter Trajektorien in einem latenten Modell. MuZero kombiniert ein entscheidungsrelevantes Modell mit Baumsuche.
Gleichung
Gₕ summiert Belohnungen r über h Schritte mit Diskontfaktor γ. Das Beispiel setzt γ = 1 und vergleicht zwei deterministische Pfade.
Annahmen und Notation
Gₕ summiert Belohnungen r über h Schritte mit Diskontfaktor γ. Das Beispiel setzt γ = 1 und vergleicht zwei deterministische Pfade.
Grenzen der Interpretation
Die Vorhersagen werden unterschiedlich genutzt. Fehler können sich aufsummieren; weiter vorauszusehen garantiert keine bessere Wahl. Das Beispiel führt keinen dieser Algorithmen aus.
DreamerV3 lernt eine Strategie anhand vorgestellter latenter Trajektorien. MuZero prognostiziert Belohnung, Wert und Strategie für die Baumsuche. Die Rekonstruktion jedes Weltdetails ist kein gemeinsames Ziel.