从500万张DSA影像说起
2026年1月，华中科技大学同济医学院附属协和医院郑传胜、阚雪锋教授团队联合全国多中心研究机构，在Nature Medicine上发表了一项随机对照试验成果：基于生成式人工智能的低剂量数字减影血管造影系统GenDSA-V2。这套系统依托70家医疗机构、4万余名患者的超500万张DSA影像数据训练而成，在全球首个大规模前瞻性随机对照试验中，把介入手术中患者与医务人员的辐射暴露降低了约三分之二，且不影响手术效率和影像诊断质量。
500万张影像、70家机构、多中心前瞻验证——这条新闻的分量不只在于临床价值，它从侧面展示了一条完整的医学影像AI工程链路：多中心数据汇聚与治理、影像标注与预处理、深度模型训练、术中实时推理部署。任何一个环节背后都有具体的算力门槛。
另一条线索来自应用侧。华中科技大学同济医学院附属同济医院放射科自2016年起建设AI阅片体系，其”基于影像AI的精准诊疗系统”覆盖了肺结节、冠状动脉CTA、脑卒中、乳腺、肝胆、骨疾病等多病种的病变识别与定量分析，年阅片量超过110万份，获评2025年湖北省人工智能典型应用案例。
两条素材放在一起，问题自然浮现：这样的系统，如果在课题组或科室层面从头搭一遍，硬件到底要配到什么水平？尤其是被问得最多的一句话——内存到底要多大？要回答它，得先把医学影像AI的技术链条拆开看。
技术链条拆解：从数据进来到模型出去
节点一：数据汇聚与预处理，内存的第一笔账
医学影像的原始形态是DICOM文件。一台现代CT单次检查就能产出数百幅512×512的断层图像，一家三甲医院一年的CT加MRI产出轻松超过数百TB。GenDSA-V2这种多中心项目动用的是机构级的存储与计算资源，而课题组常见的规模是数百到数千例影像，折算原始数据量约几TB。
关键在预处理环节。深度学习的输入需要把DICOM转成统一的浮点数组：重采样到统一间距、裁剪出有效区域、强度归一化。以3D数据为例，一个0.5毫米各向同性的腹部CT体数据，预处理后的浮点阵列体积是原始文件的数倍。主流训练框架会把这个预处理结果整体缓存进内存供训练循环反复调用——nnU-Net官方文档对大样本3D数据集的建议非常直接：系统内存按256GB以上准备。这就是”内存到底要多大”的第一层答案：这笔账首先要算在系统内存头上，显存要往后排。
节点二：标注，被低估的算力环节
监督训练需要金标准标注。一位有经验的医生在3D Slicer里勾画一例三维病灶，平均要1到3个小时；千例规模的队列意味着数千小时的专家工时，所以半自动标注辅助本身就是研究课题。预处理阶段同样吃CPU：全队列的格式转换、重采样、增强，在普通台式机上可能跑一整晚，而在多核高主频的机器上能把时间压到一小时内——这部分算力常常排在GPU之前成为瓶颈。
节点三：模型训练，分割网络的显存账
分割是医学影像AI的基石任务，从U-Net到自动配置的nnU-Net，再到引入Transformer结构的Swin-UNETR和面向三维基础模型的SAM-Med3D，网络结构在进化，显存账的逻辑却没变：显存占用跟着输入体数据尺寸和批量大小走。
- 2D训练：512×512输入、批大小8，显存约8~12GB，主流单卡即可
- 3D全分辨率：128×128×128图像块、批大小2，约12~16GB，这是三维分割的起步线
- 大图像块或更大批量：体数据加到160³以上，24GB显存是常态要求，往32GB走才从容
- 全切片病理图像：一幅切片动辄十亿像素，整图进显存不现实，只能用图像块加多实例学习的方案绕过去
另一个容易被忽略的事实是：基础模型微调省的是数据，不省显存。SAM-Med3D这类模型做推理只要单卡，但要在自有数据上微调，激活值和梯度的开销一样要按Transformer的体量算。
节点四：生成式重建与临床推理部署
GenDSA-V2代表的生成式影像重建，用扩散模型或生成对抗网络在低剂量、低曝光的原始图像上重建出诊断级影像，训练侧吃的是GPU集群的算力，推理侧要的是术中实时性——工程上靠模型蒸馏、剪枝和半精度推理把延迟压进临床可接受的范围。而部署形态上，院内私有化是常态：患者数据不出院，模型跑在科室自己的服务器上，与阅片系统和报告系统对接。
开源大模型本地部署：影像报告辅助解读的算力账
技术链条讲完，还有一个正在快速普及的新负载要算进去：开源大模型本地部署。它在这里有实打实的场景——把脱敏后的历史影像报告批量喂给本地模型做结构化摘要、随访要点提取和报告质控，或者用来做医学文献挖掘与课题调研，这些任务每天都要跑，数据每天都在产生。
为什么必须本地？第一层原因是合规：影像报告包含患者身份信息和完整诊疗记录，按个人信息保护和医疗数据管理的要求，这类数据不应流向公网API。第二层原因是成本：按token计费的商用接口，乘以课题组常年累积的调用量，几年下来超过一台工作站的价钱。第三层是可用性：隔离病区、手术室环境没有公网条件，离线可用是刚需。
模型选型上，Qwen3-30B-A3B是当前这个档位的热门选择：混合专家架构，总参数约305亿，每个token只激活约33亿，128个专家每次调用其中8个，上下文支持到128K。要提醒一个关键事实：MoE架构省的是算力，不省显存——激活参数再小，30B的总权重也得一个不少地躺在显存里，显存按总参数30B估算。
估算公式很简单：所需显存约等于参数量乘以量化字节数再乘以1.2，系数留给上下文缓存和系统开销。
算例一：报告辅助解读用Q4量化做推理，30乘以0.5乘以1.2约等于18GB，单张24GB显卡即可运行，还能留出小批量并发的余量。
算例二：若任务对术语准确性极度敏感、需要FP16原精度，30乘以2乘以1.2约等于72GB，就得80GB级别的数据中心显卡或双卡方案。
量化三档的取舍：FP16约72GB，质量最高；Q8约36GB，精度损失微乎其微；Q4约18GB，是24~32GB显卡的默认选择——对摘要、要点提取这类任务，Q4的掉点通常在可接受范围，换来的是单卡可跑。
速度量级上，纯CPU推理这个模型大约只有个位数到十几tokens/s，读一份报告摘要要等上一两分钟；单卡GPU上Q4量化能做到几十到上百tokens/s，批量处理整批报告以分钟计。这个差距，就是”为什么需要一台带独显的工作站”这一问的全部答案。
微调与推理是两条不同的账。用LoRA做领域适配——比如喂本院报告风格和术语库——在Q4推理的18GB基础上只增加约50%的适配器和优化器开销，27GB左右，32GB显卡够得着。全参数微调是另一回事：显存约为推理的四倍，FP16全参数微调要270GB上下，必须多卡平台。换句话说，推理和LoRA微调是一台工作站的事，全参数微调是一台集群的事。
主要软件环境
医学影像AI的工具链已经相当成熟，按环节列一遍：
- 深度学习框架：PyTorch是事实标准，配合MONAI可以获得面向医学影像的专用数据变换、网络层和评估指标
- 分割训练：nnU-Net v2仍是三维分割的第一选择，自动推断预处理方案和训练配置，新课题先用它建立性能基线
- 标注工具：3D Slicer功能全面、插件生态丰富，适合复杂任务；ITK-SNAP轻量顺手，适合快速勾画；两者都免费
- 数据转换：dcm2niix负责DICOM到NIfTI的批量转换，pydicom、SimpleITK、NiBabel负责读写和几何操作
- 影像组学：PyRadiomics提取高通量影像特征，走影像组学加深度学习的混合路线时必备
- 分割基础模型：SAM-Med3D、TotalSegmentator做预训练器官和病灶分割的快速起步
- 大模型部署与微调：Ollama或vLLM承担本地推理服务，LLaMA-Factory承担LoRA微调，都是开源方案
这套软件栈全部免费，对操作系统的兼容性良好，真正的门槛只剩硬件。
工作站配置参考
从算法原理到代码实现，中间隔的是编程能力；从代码实现到实际跑出结果，中间隔的往往就是硬件配置。很多课题组在论文里看到别人的计算规模，想复现却发现自己的机器根本扛不住。结合前面分析的影像AI训练与开源大模型本地部署的算力特征，下面按任务规模整理了几档配置方案，每档列出完整硬件参数，供规划实验资源时参考。
入门档：研究生课题起步
适用场景：数百例规模的2D分割或小型3D器官分割，同时承担Qwen3-30B-A3B量化级本地大模型推理。
推荐机型：UltraLAB A350 15396-MCT
- CPU：Intel Core Ultra 7 265K（20核，8性能核全核5.3GHz/12能效核全核3.8GHz）（5.3GHz/3.8GHz为全核超频实测优化频率）
- GPU：RTX 5090 32G 水冷（32GB GDDR7，512bit，显存带宽1.79 TB/s）
- 内存：96GB DDR5
- 存储：4TB NVMe
对入门负载，32GB显存是宽裕的：3D全分辨率分割训练约12~16GB，Qwen3-30B-A3B做Q4推理约18GB，单卡都罩得住，96GB内存也能覆盖数百例规模的预处理缓存。
进阶档：千例级三维分割与报告大模型微调
适用场景：千例级三维全分辨率分割训练、影像组学与深度学习一体、报告辅助大模型的LoRA微调。
推荐机型：UltraLAB AR350 145128-MCE
- CPU：AMD锐龙9950X（16核，4.5GHz）（4.5GHz为全核超频实测优化频率）
- GPU：RTX 6000D 84G（84GB GDDR7，448bit，显存带宽1.57 TB/s）
- 内存：128GB DDR5
- 存储：4TB NVMe
84GB显存把前面算的账全部盖住：FP16原精度的30B推理约72GB、LoRA微调约27GB、大图像块三维训练往32GB走的从容线，单卡都有余量。
共享档：课题组多任务并行平台
适用场景：多任务并行排队、分割基础模型微调、批量推理与本地大模型并发服务。
推荐机型：UltraLAB AX430 127384-MC2E
- CPU：Xeon金牌6530（32核，2.74.0GHz）（2.74.0GHz为全核超频实测优化频率）
- GPU：2×RTX 6000D 84G（单卡84GB GDDR7，448bit，显存带宽1.57 TB/s）
- 内存：384GB DDR5
- 存储：4TB NVMe
两张84GB显卡合计168GB显存，384GB内存对应千例级三维队列的整体驻留。训练占一张卡、微调或推理占另一张，课题组的混合负载不必互相排队。
平台档：多中心级模型迭代与全参数微调
适用场景：多中心级模型迭代、大图像块三维训练、全参数微调与私有推理服务一体化。
推荐机型：UltraLAB GX660M 227512-MD4A
- CPU：2×Xeon金牌6530（64核，2.74.0GHz）（2.74.0GHz为全核超频实测优化频率）
- GPU：4×A100 80GB 水冷（单卡80GB HBM2e，5120bit，显存带宽2 TB/s）
- 内存：512GB DDR5
- 存储：8TB NVMe
四张80GB数据中心显卡合计320GB显存，压过FP16全参数微调约270GB的门槛——正文说全参数微调是多卡平台的活，落到配置上就是这个规模。多中心级迭代和院内私有推理服务并发，也只有这种显存总量扛得稳。
常见FAQ
做三维分割训练，显存和系统内存哪个先不够用？
多数人会盯着显存，实际先撞墙的常常是内存。预处理后的浮点数据整体驻留内存，千例级三维队列轻松吃掉一两百GB；显存决定能开多大的图像块，内存决定队列能不能整套跑起来。规划时先把内存预留充足，再谈显卡。
训练总报显存溢出，批大小只能设1，怎么办？
先降图像块尺寸再降批量，nnU-Net的级联方案就是为显存不够准备的；确认用的是混合精度训练，能把显存占用压低近一半；以上都试过还不行，说明任务规模超出单卡上限，该换更大显存的机器，硬调参数解决不了问题。
多少数据才够训练一个影像AI模型？
看任务难度：二分类或单器官分割，几百例标注数据加nnU-Net就能出可用结果；多器官、多中心、病灶边界模糊的任务，几千例起步。数据不够时优先考虑基础模型微调和半自动标注扩增，盲目堆网络复杂度无济于事。
患者数据不出实验室，本地大模型部署合规吗？
合规，这也是本地部署的核心价值。选开源权重许可明确的模型（如Apache 2.0协议的Qwen3系列），数据全程留在内网，推理服务绑定内网地址，即可满足绝大多数医疗机构的数据管理要求。
标注工具选3D Slicer还是ITK-SNAP？
快速勾画单层或小病灶用ITK-SNAP，上手快、资源占用低；需要多标签管理、半自动分割、插件扩展或和训练管线联动时用3D Slicer。两者标注结果可以互通，实践中混用很常见。
一台机器能同时跑分割训练和大模型推理吗？
可以，只要资源调度得当：训练任务独占显卡时大模型推理会排队，配置时把显存按”训练峰值加大模型常驻”一起算，或者给推理服务单独留一张卡。多卡平台天然更适合这种混合负载。
结语
回到开头那个数字：70家机构、500万张影像。GenDSA-V2这类成果离普通课题组并不遥远——缩小一个数量级，就是千例数据、单器官分割、科室级部署，这是一台配置得当的工作站完全够得着的工作量。医学影像AI的竞争，表面看是算法和数据，往下挖一层，是每台机器每天能处理多少影像、能迭代多少轮模型。算力到位了，想法才落得下去。
