一个直接在日常诊疗过程中产生的影像上训练的视觉基础模型——未经筛选、未经标注，甚至不使用报告文本——超越了建立在公开语料库之上的模型。但最具启发性的结果并不在此：被击败的模型中有几个取用的是同一份医院归档。本研究所分离出来的，是学习目标的效应。

来源：nature.com

发现

技术解释

1. 神经影像为何在公共领域缺席。 起点并非技术性的，而是监管性的：一份颅脑CT或MRI体数据包含患者的面部，可以三维重建。这种内在的可识别性，使神经影像一直被挡在滋养基础模型的大型开放语料库之外。数据是存在的——数以百万计，就在每家医院的PACS归档里——但它们是私有的、异质的、未加标注的。作者们的赌注，是到数据所在之处去取，而不是等待一个不会到来的公开语料库。

2. Vol-JEPA——在潜空间而非像素空间中预测。 这是本项工作的机制核心，与经典的掩码自编码器截然不同。三维体数据首先被切分为patch（体积token）。去除背景后，剩余的patch被分为一小块可见上下文与一块更大的掩蔽目标——正是这种不对称性使任务变得困难。一个学生编码器——“在线”的三维Vision Transformer——仅计算上下文的表征；随后一个预测器必须从该表征出发，产生被掩蔽区域的表征应当是什么样子。与此并行，一个“离线”的教师编码器看到完整体数据并提供目标，梯度被阻断而不通过它。训练过程最小化预测与目标之间的Huber损失（smooth L1）：

$\ell(x)=\begin{cases}0{,}5\,x^{2} & \text{si } |x|<1\\ |x|-0{,}5 & \text{sinon}\end{cases}$ℓ(x)={0,5x2∣x∣−0,5​si ∣x∣<1sinon​

决定性的差异在于：目标不是缺失的像素，而是它的编码。重建像素会迫使模型去建模采集噪声、运动伪影、探测器颗粒度——所有这些都因机器而异，却不携带临床信息。通过在潜空间中预测，模型得以自由地忽略不可预测之物，只保留结构上可预测的部分：解剖及其改变。这正是该方法能够容忍未整理数据的原因。

3. 教师为何不会坍缩。 一种让学生学习模仿孪生网络所产生目标的架构，存在落入平凡解的风险：两个网络都输出常数，损失降为零，什么也没学到。防护机制在于教师并非通过梯度下降训练——它的权重是学生权重的指数滑动平均：

$\theta_{\text{enseignant}} \leftarrow \tau\,\theta_{\text{enseignant}} + (1-\tau)\,\theta_{\text{étudiant}}$θenseignant​←τθenseignant​+(1−τ)θeˊtudiant​

教师由此始终是学生的平滑化、延迟版本：一个演化得太慢以致无法被捷径追上、却又足以随之前进的目标。在这一阶段，没有任何标签、任何放射学报告介入。（这两个公式的显式形式是对该方法的标准注解，而非对文章的引用。）

4. 评估测量什么——以及证明什么。 AUROC量化的是区分某一状况存在与否的能力，与所选阈值无关：$\mathrm{AUROC}=0{,}5$AUROC=0,5等同于随机，$1{,}0$1,0等同于完美区分。此处采用的是宏平均：每一项诊断权重相同，包括最罕见的。正是这一选择使该数字具有信息量——按频率加权的平均值会被常见而容易的病例抬高。因此，在82项CT任务上取得$92{,}68\%$92,68%、在74项MRI任务上取得$92{,}49\%$92,49%，衡量的是铺展在156项诊断上的能力，而非少数优势病种上的尖峰。有一点对解读该数字至关重要：编码器在预训练后被冻结，产生这些分数的是在其之上训练的有监督分类探针。预训练是无标签的；评估则不是。

5. 真正关键的比较：同一归档，不同目标。 这是文章方法学上最有力的一点，也是原始数字所掩盖的一点。PRIMA、HLIP、NeuroMAE与NeuroVFM全都在UM-NeuroImages上完成预训练。因此这些比较控制了数据来源，差距应归因于预训练目标与架构，而非影像的出处。顺带一提，NeuroMAE并非第三方团队发表的竞争模型：它是一条算力预算对齐的基线，由作者们自己构建（体素重建、85%随机掩蔽），唯一目的就是分离出目标的效应。在主要指标上，NeuroVFM领先HLIP $+0{,}98$+0,98个百分点（95%CI：0.76–1.20），领先NeuroMAE $+1{,}55$+1,55，领先DINOv3 $+2{,}24$+2,24，领先BiomedCLIP $+2{,}88$+2,88，领先PRIMA $+3{,}87$+3,87——最后这一差距需另作别论，因为PRIMA仅在MRI子集上训练与评估。重叠也从来不是完全的：HLIP是在444,188对检查–报告上训练的，只是566,915项检查中的一部分。

6. 从诊断到分诊：前瞻性检验。 在LLaVA-1.5型架构中与语言模型Qwen3-14B耦合后，NeuroVFM驱动一个能够起草初步报告并对检查排序的系统。方案是一项前瞻性且静默的可行性研究——系统运行但不影响诊疗——在医疗系统层面连续开展一周，从2026年1月18日至25日，涉及1,155项检查（MRI 601项，CT 544项）。生成的报告先由一个筛查语言模型过滤，然后由一个盲法的专家临床医师小组根据生成报告作出分诊决定——受评分的正是这一决定——并根据真实报告作出参考决定。NeuroVFM组92.6%的平衡准确率（95%CI：89.8–95.2），对比GPT-5组的71.2%（95%CI：67.2–75.2），即$+21{,}4$+21,4个百分点，因此衡量的是一条完整链条——模型、自动筛查与人工阅读——而非模型本身。

为什么它成功了

增益更多来自学习目标，而非数据的出处。原始归档是必要条件——没有它就没有524万例体数据——但不足以解释差距：五个比较对象中有三个取用的是同一份归档。文章所确立的是：在来源相同的条件下，潜空间预测所产生的表征，随着任务多样性增加而泛化得更好。名义上最高的差距（$+3{,}87$+3,87）是对PRIMA的，但文章并未将其如此看待：它把对最大差距的提及留给了在互联网规模上训练的模型——DINOv3（$+2{,}24$+2,24）与BiomedCLIP（$+2{,}88$+2,88）——在那里，目标与训练数据两者都不同，其效应相互叠加。

局限是明确写出的，而且相当程度上冲淡了叙事。面对HLIP——在同一归档上训练的最扎实基线——优势仅为$0{,}98$0,98个百分点：NeuroVFM在17个CT类别中的10个胜出且无一败绩，但在18个MRI类别中仅胜出5个，炎症类别由HLIP拿下，其余无统计学显著性。在CQ500这一标签与报告措辞高度贴合的小型测试集上，HLIP甚至在多数任务上反超NeuroVFM。作者们由此得出了恰当的结论：以报告作监督的模型在特定诊断上仍具竞争力，NeuroVFM的优势体现在任务多样性增加之时。在分诊环节，敏感度封顶于86.5%（95%CI：81.0–91.6）——155名携带危急异常的患者中有21名被漏检，约为七分之一，这就排除了任何自主使用的可能。数据来自单一医疗系统；向其他机构与人群的推广尚未得到证明。最后，“超越GPT-5”针对的是一项具体的神经放射分诊任务，对手是一个从未为此设计的通用模型，而且是在一条由临床医师作出最终决定的流水线之中——这并不是与真实条件下放射科医师的比较。公开仓库直言不讳：仅限研究用途，这不是医疗器械。

因果链

卷积网络应用于医学影像（2010年代）→ 在海量公开语料库上的自监督基础模型兴起（2020-2023）→ 神经影像特有的僵局：颅骨可识别，数据留在公共领域之外 → 认识到医院归档中早已存在素材，只是未经整理 → 第一波在医疗系统数据上训练、由报告文本监督的模型（HLIP、PRIMA）→ 将JEPA目标适配到三维体数据（Vol-JEPA），在潜空间预测并完全摆脱标签 → 在来自566,915项检查的524万例体数据上训练 → 156项任务上宏平均AUROC达92.68%（CT）与92.49%（MRI），高于HLIP、NeuroMAE、DINOv3、BiomedCLIP与PRIMA → 与Qwen3-14B耦合并开展为期一周的静默前瞻性分诊研究（2026年1月）→ 在Nature Medicine发表并公开代码（MIT）与权重（2026年7月）→ 尚存关卡：外部多中心验证，以及86.5%的敏感度不足以支撑自主使用

轶事

医疗数据的悖论可以浓缩为一幅图像：阻止神经影像进入公开语料库的，并非某种抽象的医疗机密，而是患者的面孔——一份颅脑CT经三维重建便会还原出可辨认的容貌。于是，三维体数据最丰富的学科，恰恰是可共享数据最贫乏的学科。NeuroVFM并未解决这个问题，而是绕开了它：与其把影像导出到一个共同语料库，不如到影像本就所在之处去学习——某个单一医疗系统在二十年间累积的566,915项检查之中。

遗产与当前数据

在这项工作之前，该领域已有耕耘者：HLIP与PRIMA，两者都在医疗系统数据上训练并由报告文本监督，构成了这一谱系的主要路径——在本文中作为比较基准出现。因此问题不再是影像领域是否需要基础模型，而是用什么训练信号去构建它们：放射科医师的报告，还是影像本身。NeuroVFM自身的贡献并非一件临床产品——没有任何常规部署被报告，仓库也明确排除用于医疗决策——而是一项有实际发布作支撑的原理验证：代码采用MIT许可，权重以CC-BY-NC-SA 4.0发布于Hugging Face，其中一部分仍以机构申请为条件。作者们自己把后续方向定位在时序与多模态数据的整合上——病理、基因组学、纵向临床结局。

来源

2026年8月5日事实核查审计时所验证的参考文献：本简报的各项论断即是对照这些页面进行核对的。

1. Health system learning enables generalist neuroimaging models — Nature Medicine（2026） — 同行评议，开放获取（CC BY 4.0），2026年7月10日发表。DOI：10.1038/s41591-026-04497-1
2. Health system learning achieves generalist neuroimaging models — arXiv预印本 2511.18640（2025） — 预印本，2025年11月23日。同一工作的早期版本，既不包含PRIMA与NeuroMAE基线，也不包含前瞻性分诊研究。
3. Learning from routine health system data builds better neuroimaging AI models — Nature Medicine（2026） — 2026年7月31日的Research Briefing，由该研究的作者们自己撰写：这不是独立的编辑评论。
4. 官方仓库 MLNeurosurg/neurovfm — GitHub — 代码（MIT）、权重，以及“research use only, not a medical device”的声明。

透明性说明：本简报中的数值来自经同行评议的开放获取文章及作者们的官方仓库。队列的详细构成与各诊断的曲线未逐行复核。