Ein visuelles Foundation-Modell, das unmittelbar auf den im Verlauf der Routineversorgung erzeugten Bildern trainiert wurde — unsortiert, nicht annotiert, nicht einmal mit dem Text der Befunde —, übertrifft Modelle, die auf öffentlichen Korpora aufgebaut sind. Doch das lehrreichste Ergebnis liegt nicht dort: Mehrere der geschlagenen Modelle schöpften aus demselben Krankenhausarchiv. Was die Studie isoliert, ist die Wirkung des Lernziels.

Quelle: nature.com

Entdeckung

Technische Erklärung

1. Warum Neuroimaging in der öffentlichen Domäne fehlt. Der Ausgangspunkt ist nicht technischer, sondern regulatorischer Natur: Ein kraniales CT- oder MRT-Volumen enthält das Gesicht der Patientin oder des Patienten, in 3D rekonstruierbar. Diese intrinsische Identifizierbarkeit hat das Neuroimaging aus den großen offenen Korpora herausgehalten, die die Foundation-Modelle genährt haben. Die Daten existieren — millionenfach, in den PACS-Archiven jedes Krankenhauses —, aber sie sind privat, heterogen und nicht annotiert. Die Wette der Autorinnen und Autoren besteht darin, sie dort zu holen, wo sie sind, statt auf ein öffentliches Korpus zu warten, das nicht kommen wird.

2. Vol-JEPA — im latenten Raum vorhersagen, nicht im Pixelraum. Dies ist der mechanische Kern der Arbeit, und er unterscheidet sich deutlich von einem klassischen maskierten Autoencoder. Das 3D-Volumen wird zunächst in Patches (volumetrische Tokens) zerlegt. Nach Entfernung des Hintergrunds werden die verbleibenden Patches in einen kleinen sichtbaren Kontext und ein größeres maskiertes Ziel aufgeteilt — diese Asymmetrie macht die Aufgabe schwierig. Ein Studenten-Encoder — ein „Online“-3D-Vision-Transformer — berechnet eine Repräsentation allein des Kontexts; ein Prädiktor muss dann aus dieser Repräsentation erzeugen, was die Repräsentation der maskierten Regionen wäre. Parallel dazu sieht ein „Offline“-Lehrer-Encoder das vollständige Volumen und liefert das Ziel, wobei die Gradienten durch ihn hindurch blockiert werden. Das Training minimiert einen Huber-Verlust (smooth L1) zwischen Vorhersage und Ziel:

$\ell(x)=\begin{cases}0{,}5\,x^{2} & \text{si } |x|<1\\ |x|-0{,}5 & \text{sinon}\end{cases}$ℓ(x)={0,5x2∣x∣−0,5​si ∣x∣<1sinon​

Der entscheidende Unterschied: Das Ziel ist nicht das fehlende Pixel, sondern seine Kodierung. Pixel zu rekonstruieren würde das Modell zwingen, das Aufnahmerauschen, die Bewegungsartefakte, das Detektorkorn zu modellieren — alles, was von Maschine zu Maschine variiert, ohne klinische Information zu tragen. Indem es im latenten Raum vorhersagt, ist das Modell frei, das Unvorhersehbare zu ignorieren, und behält nur das strukturell Vorhersagbare: die Anatomie und ihre Veränderungen. Genau das macht den Ansatz tolerant gegenüber unkuratierten Daten.

3. Warum der Lehrer nicht kollabiert. Eine Architektur, in der der Student lernt, ein von einem Zwillingsnetz erzeugtes Ziel nachzuahmen, riskiert die triviale Lösung: Beide Netze geben eine Konstante aus, der Verlust fällt auf null, nichts wird gelernt. Die Absicherung besteht darin, dass der Lehrer nicht durch Gradientenabstieg trainiert wird — seine Gewichte sind ein exponentiell gleitender Mittelwert derjenigen des Studenten:

$\theta_{\text{enseignant}} \leftarrow \tau\,\theta_{\text{enseignant}} + (1-\tau)\,\theta_{\text{étudiant}}$θenseignant​←τθenseignant​+(1−τ)θeˊtudiant​

Der Lehrer bleibt so eine geglättete und verzögerte Version des Studenten: ein Ziel, das sich zu langsam entwickelt, um durch eine Abkürzung eingeholt zu werden, aber schnell genug, um mit ihm voranzuschreiten. Kein Label, kein radiologischer Befund greift in dieser Phase ein. (Die explizite Form dieser beiden Gleichungen ist eine übliche Erläuterung der Methode, kein Zitat aus dem Artikel.)

4. Was die Auswertung misst — und was sie belegt. Die AUROC quantifiziert die Fähigkeit, Vorhandensein und Fehlen eines Zustands zu trennen, unabhängig vom gewählten Schwellenwert: $\mathrm{AUROC}=0{,}5$AUROC=0,5 entspricht dem Zufall, $1{,}0$1,0 der perfekten Trennung. Sie ist hier makro-gemittelt: Jede Diagnose wiegt gleich viel, auch die seltensten. Diese Wahl macht die Zahl aussagekräftig — ein nach Häufigkeit gewichteter Mittelwert wäre durch die häufigen und leichten Fälle aufgebläht worden. $92{,}68\%$92,68% über 82 CT-Aufgaben und $92{,}49\%$92,49% über 74 MRT-Aufgaben zu erreichen, misst also eine über 156 Diagnosen verteilte Kompetenz, keine Spitze bei einigen wenigen dominanten Pathologien. Eine Präzisierung, die für die Deutung der Zahl zählt: Der Encoder wird nach dem Vortraining eingefroren, und es sind überwachte Klassifikationssonden, die darüber trainiert werden und diese Werte erzeugen. Das Vortraining ist labelfrei; die Auswertung ist es nicht.

5. Der Vergleich, der zählt: gleiches Archiv, unterschiedliche Ziele. Dies ist der methodisch stärkste Punkt des Artikels, und derjenige, den die Rohzahlen verdecken. PRIMA, HLIP, NeuroMAE und NeuroVFM wurden alle auf UM-NeuroImages vortrainiert. Die Vergleiche kontrollieren somit die Datenquelle, und die Abstände sind dem Vortrainingsziel und der Architektur zuzuschreiben, nicht der Herkunft der Bilder. NeuroMAE ist im Übrigen kein von einem Drittteam veröffentlichtes Konkurrenzmodell: Es ist eine Baseline mit angeglichenem Rechenbudget, von den Autorinnen und Autoren selbst gebaut (Voxel-Rekonstruktion, zufällige Maskierung zu 85 %) mit dem alleinigen Zweck, die Wirkung des Ziels zu isolieren. Beim Primärkriterium liegt NeuroVFM vor HLIP um $+0{,}98$+0,98 Punkt (95 %-KI: 0,76–1,20), vor NeuroMAE um $+1{,}55$+1,55, vor DINOv3 um $+2{,}24$+2,24, vor BiomedCLIP um $+2{,}88$+2,88 und vor PRIMA um $+3{,}87$+3,87 — wobei letzterer Abstand gesondert steht, da PRIMA nur auf der MRT-Teilmenge trainiert und evaluiert wurde. Die Überschneidung ist zudem nie vollständig: HLIP wurde auf 444 188 Studie-Befund-Paaren trainiert, also einem Bruchteil der 566 915 Studien.

6. Von der Diagnose zur Triage: die prospektive Prüfung. Gekoppelt mit dem Sprachmodell Qwen3-14B in einer Architektur vom Typ LLaVA-1.5, speist NeuroVFM ein System, das einen vorläufigen Befund verfassen und Untersuchungen priorisieren kann. Das Protokoll ist eine prospektive und stille Machbarkeitsstudie — das System läuft, ohne die Versorgung zu beeinflussen —, durchgeführt auf der Ebene des Gesundheitssystems über eine zusammenhängende Woche, vom 18. bis 25. Januar 2026, bezogen auf 1 155 Untersuchungen (601 MRT, 544 CT). Die erzeugten Befunde werden durch ein Screening-Sprachmodell gefiltert, dann trifft ein verblindetes Panel klinischer Expertinnen und Experten die Triage-Entscheidung anhand der erzeugten Befunde — diese wird bewertet — und die Referenzentscheidung anhand der realen Befunde. Die 92,6 % ausgewogene Genauigkeit des NeuroVFM-Arms (95 %-KI: 89,8–95,2) gegenüber 71,2 % für den GPT-5-Arm (95 %-KI: 67,2–75,2), also $+21{,}4$+21,4 Punkte, messen somit eine vollständige Kette — Modell, automatisches Screening und menschliche Lektüre — und nicht das Modell allein.

Warum es funktioniert hat

Der Gewinn stammt weniger aus der Herkunft der Daten als aus dem Lernziel. Das Rohdatenarchiv ist eine notwendige Bedingung — ohne es keine 5,24 Millionen Volumina —, aber es genügt nicht, um den Abstand zu erklären: Drei der fünf Vergleichsmodelle schöpften aus demselben Archiv. Was der Artikel belegt, ist, dass bei identischer Quelle die Vorhersage im latenten Raum Repräsentationen erzeugt, die umso besser generalisieren, je größer die Aufgabenvielfalt wird. Der nominell höchste Abstand ($+3{,}87$+3,87) ist derjenige von PRIMA, aber der Artikel führt ihn nicht als solchen an: Er behält die Erwähnung der größten Abstände den auf Internetmaßstab trainierten Modellen vor — DINOv3 ($+2{,}24$+2,24) und BiomedCLIP ($+2{,}88$+2,88) —, dort, wo sich Ziel und Trainingsdaten beide unterscheiden und ihre Wirkungen sich summieren.

Die Grenzen sind ausdrücklich benannt, und sie dämpfen die Erzählung erheblich. Gegenüber HLIP — der solidesten Baseline, auf demselben Archiv trainiert — beträgt der Vorteil nur $0{,}98$0,98 Punkt: NeuroVFM setzt sich in 10 der 17 CT-Kategorien ohne eine einzige Niederlage durch, aber nur in 5 der 18 MRT-Kategorien, wobei HLIP die entzündliche Kategorie gewinnt und der Rest nicht signifikant ist. Auf CQ500, einem kleinen Testsatz, dessen Labels sich eng an den Wortlaut der Befunde anlehnen, übertrifft HLIP NeuroVFM sogar bei der Mehrzahl der Aufgaben. Die Autorinnen und Autoren ziehen daraus den zutreffenden Schluss: Durch Befunde überwachte Modelle bleiben bei spezifischen Diagnosen konkurrenzfähig, der Vorteil von NeuroVFM zeigt sich, wenn die Aufgabenvielfalt zunimmt. Bei der Triage stagniert die Sensitivität bei 86,5 % (95 %-KI: 81,0–91,6) — 21 von 155 Patientinnen und Patienten mit einer kritischen Auffälligkeit wurden übersehen, also etwa eine oder einer von sieben, was jede autonome Nutzung ausschließt. Die Daten stammen aus einem einzigen Gesundheitssystem; die Verallgemeinerung auf andere Einrichtungen und Populationen ist nicht belegt. Schließlich bezieht sich „GPT-5 übertreffen“ auf eine präzise neuroradiologische Triage-Aufgabe, gegenüber einem Generalistenmodell, das nie dafür konzipiert wurde, und innerhalb einer Kette, in der Klinikerinnen und Kliniker die endgültige Entscheidung treffen — es ist kein Vergleich mit einer Radiologin oder einem Radiologen unter realen Bedingungen. Das öffentliche Repository sagt es unumwunden: nur zu Forschungszwecken, dies ist kein Medizinprodukt.

Kausalkette

Faltungsnetze in der medizinischen Bildgebung (2010er Jahre) → Aufstieg selbstüberwachter Foundation-Modelle auf massiven öffentlichen Korpora (2020-2023) → dem Neuroimaging eigene Blockade: Der Schädel ist identifizierbar, die Daten bleiben außerhalb der öffentlichen Domäne → Feststellung, dass die Krankenhausarchive das Material bereits enthalten, unkuratiert → erste Welle von Modellen, die auf Gesundheitssystemdaten trainiert und durch den Text der Befunde überwacht werden (HLIP, PRIMA) → Anpassung des JEPA-Ziels an 3D-Volumina (Vol-JEPA), das im latenten Raum vorhersagt und gänzlich auf Labels verzichtet → Training auf 5,24 Mio. Volumina aus 566 915 Studien → makro-gemittelte AUROC von 92,68 % (CT) und 92,49 % (MRT) über 156 Aufgaben, oberhalb von HLIP, NeuroMAE, DINOv3, BiomedCLIP und PRIMA → Kopplung an Qwen3-14B und einwöchige stille prospektive Triage-Studie (Januar 2026) → Publikation in Nature Medicine und Freigabe des Codes (MIT) und der Gewichte (Juli 2026) → verbleibende Hürden: externe Multi-Site-Validierung und eine für autonome Nutzung unzureichende Sensitivität von 86,5 %

Anekdote

Das Paradox der medizinischen Daten fasst sich in einem Bild: Was dem Neuroimaging den Eintritt in die öffentlichen Korpora verwehrt hat, ist kein abstraktes medizinisches Geheimnis, es ist das Gesicht der Patientin oder des Patienten — ein Schädel-CT lässt sich in 3D rekonstruieren und gibt erkennbare Züge zurück. Die an 3D-Volumina reichste Disziplin war somit die ärmste an teilbaren Daten. NeuroVFM löst dieses Problem nicht, es umgeht es: Statt die Bilder in ein gemeinsames Korpus zu exportieren, geht es dort lernen, wo sie bereits liegen, in den 566 915 Studien, die ein einziges Gesundheitssystem in zwanzig Jahren angesammelt hat.

Erbe und aktuelle Daten

Das Feld war bereits vor dieser Arbeit besetzt: HLIP und PRIMA, beide auf Gesundheitssystemdaten trainiert und durch den Text der Befunde überwacht, bildeten die wichtigsten Ansätze dieser Familie — und erscheinen hier als Vergleichspunkte. Die Frage lautet also nicht mehr, ob es Foundation-Modelle in der Bildgebung braucht, sondern mit welchem Trainingssignal man sie baut: dem Befund der Radiologin oder des Radiologen, oder dem Bild allein. Der eigene Beitrag von NeuroVFM ist kein klinisches Produkt — kein Routineeinsatz wird berichtet, und das Repository schließt die Nutzung in der medizinischen Entscheidung ausdrücklich aus —, sondern ein Grundsatznachweis, gestützt auf eine tatsächliche Verbreitung: Der Code steht unter MIT-Lizenz und die Gewichte sind auf Hugging Face unter CC-BY-NC-SA 4.0 veröffentlicht, wobei ein Teil an einen institutionellen Antrag gebunden bleibt. Die Autorinnen und Autoren verorten die Fortsetzung selbst auf der Seite der Integration zeitlicher und multimodaler Daten — Pathologie, Genomik, longitudinaler klinischer Verlauf.

Quellen

Referenzen, geprüft im Rahmen des Fact-Checking-Audits vom 5. August 2026: Dies sind die Seiten, gegen die die Aussagen dieses Bulletins kontrolliert wurden.

1. Health system learning enables generalist neuroimaging models — Nature Medicine (2026) — peer-reviewed, Open Access (CC BY 4.0), veröffentlicht am 10. Juli 2026. DOI: 10.1038/s41591-026-04497-1
2. Health system learning achieves generalist neuroimaging models — arXiv-Preprint 2511.18640 (2025) — Preprint, 23. November 2025. Frühere Fassung derselben Arbeit, die weder die Baselines PRIMA und NeuroMAE noch die prospektive Triage-Studie enthält.
3. Learning from routine health system data builds better neuroimaging AI models — Nature Medicine (2026) — Research Briefing vom 31. Juli 2026, verfasst von den Autorinnen und Autoren der Studie selbst: Dies ist kein unabhängiger redaktioneller Kommentar.
4. Offizielles Repository MLNeurosurg/neurovfm — GitHub — Code (MIT), Gewichte und der Hinweis „research use only, not a medical device“.

Transparenz: Die Zahlenwerte dieses Bulletins stammen aus dem peer-reviewten Open-Access-Artikel und aus dem offiziellen Repository der Autorinnen und Autoren. Die detaillierte Zusammensetzung der Kohorten und die Kurven je Diagnose wurden nicht Zeile für Zeile nachgeprüft.