NeuroVFM：基于Vol-JEPA的神经影像基础模型，用524万临床MRI/CT训练

一句话看懂

密歇根大学发布NeuroVFM，一种基于Vol-JEPA的通用神经影像基础模型，在524万临床MRI和CT体积上训练，无需放射报告标签，可学习脑解剖和病理。

详细发生了什么

密歇根大学研究团队在《自然·医学》上发表了NeuroVFM，这是一个面向神经影像的通用视觉基础模型。它基于自研的Vol-JEPA架构，在包含524万临床MRI和CT体积的UM-NeuroImages数据集上训练，这些数据来自密歇根医学中心超过20年的常规诊疗。

Vol-JEPA是I-JEPA和V-JEPA在三维医学影像上的扩展。它采用自监督、纯视觉的学习方式，不依赖像素重建或放射报告标签。具体来说，每个3D体积被分割成4×16×16体素的非重叠patch，然后分为可见的上下文区域（MRI占25%，CT占20%）和更大的掩码目标区域。学生编码器处理上下文patch，预测器结合上下文潜在表示和目标位置编码来预测掩码区域的潜在表示。教师编码器（学生编码器的指数移动平均）生成真实目标潜在表示，训练通过平滑L1损失最小化预测与教师潜在表示之间的差异。掩码策略聚焦于前景（头部区域），避免背景捷径。

NeuroVFM在多项脑部任务上表现优异，包括脑肿瘤分割、脑卒中病变检测、脑龄预测等，尤其在数据稀缺场景下优势明显。

中文圈视角

NeuroVFM对中文圈医学影像AI开发者有几点启示：

数据瓶颈的破解思路：国内医院同样积累了大量临床MRI/CT数据，但受限于隐私法规和标注成本，难以用于模型训练。NeuroVFM的“健康系统学习”方法——直接从非结构化临床数据中学习，无需放射报告——为国内机构提供了可借鉴的路径。不过，国内医疗数据出境受限，需在本地部署类似方案。
国产替代与对比：目前国内医学影像AI公司如推想科技、依图医疗等，多聚焦于特定疾病（肺结节、乳腺癌）的监督学习模型。NeuroVFM的通用性更强，但国内也有类似尝试，如联影智能的uAI平台，但尚未有同等规模的公开基础模型。中文圈开发者可关注Vol-JEPA在国产框架（如MindSpore、PaddlePaddle）上的复现。
实际应用场景：对于国内医院，NeuroVFM可用于辅助诊断、影像质控、科研分析等。但需注意，模型基于西方人群数据，直接迁移到中国人群可能存在偏差，需要微调。此外，部署需要GPU资源，国内云服务商（阿里云、华为云）可提供算力支持。
监管与合规：国内医疗AI产品需通过NMPA认证，NeuroVFM作为研究模型，不能直接用于临床。但其自监督预训练+下游微调的模式，符合国内“通用基础模型+专用任务”的审批趋势。

几条值得记住的细节

训练数据：524万临床MRI和CT体积，来自566,915项研究，覆盖20年常规诊疗。
Vol-JEPA掩码策略：MRI上下文比例25%，CT为20%，并采用20% patch dropout。
无需放射报告标签：纯视觉自监督学习，避免标注瓶颈。
模型在脑肿瘤分割、脑卒中检测等任务上表现优异，尤其在数据稀缺时优势明显。
代码和模型权重尚未公开，但研究团队表示将逐步开放。

一句话总结

NeuroVFM证明了从海量临床影像中自监督学习通用脑部表征的可行性，为国内医学AI提供了数据利用的新范式。