一场拖了三个月的设备讨论会
十月中旬，中部某高校智能传感实验室的会议室里，三个人围着一张堆满打印纸的桌子坐下。主持讨论的是周老师，实验室负责人；对面是组里的陈博士，博三，平时管着两台上了年纪的计算设备；旁边坐着厂商工程师老韩——这已经是他第三次被请来开这个会了。
议题只有一个：明年经费到账，设备怎么更新。
这个会本来暑假前就排上了，一直拖到现在。卡在一个很现实的问题上：实验室新接了一个光纤传感阵列的横向项目，128个通道，每通道采样率拉到200kS/s，原始数据流一小时就有七百多GB；同时组里新立了一个方向，想用大模型帮着整理实验记录、起草标定报告。横向合同的保密条款写得很清楚，实验数据和标定参数不能离开实验室内网。旧设备既扛不住前者的数据量，也装不下后者的模型。
讨论开始前，周老师先讲了一段题外话。做精密测量这一行，天花板是什么样，有公开报道可查：华中科技大学罗俊院士团队在喻家山的山洞实验室里做了三十多年扭秤实验，2018年在《自然》杂志发表当时国际上精度最高的万有引力常数G值测量结果，用扭秤周期法和角加速度反馈法两种独立方法互相印证，相对标准不确定度达到百万分之十一量级，成果后来写进了人教版高中物理教材。依托该团队建设的精密重力测量研究设施，2023年10月通过国家验收，具备全球毫伽级、基准微伽级的重力数据获取能力。
“外人看到的是山洞和扭秤，”周老师说，”干这行的都知道，那种精度的背后是数据处理：环境扰动建模、蒙特卡洛不确定度评定、几十万组标定数据的拟合，样样吃算力。今天这台机器怎么配，直接决定明年项目能不能按时交差。”
对话一：周老师先开口——”先报个数，到底要花多少钱”
老韩没有直接报价，先把账算了一遍。
组里现在的计算家底是：一台八年前的塔式工作站，负责标定数据的非线性拟合，一组数据要通宵跑一整夜；一台普通台式机，学生日常做信号分析用。陈博士补充了一个更具体的痛点：横向项目要求给出完整的不确定度评定报告，按规程要做十万次蒙特卡洛抽样，现有那台塔式机跑了两天两夜，甲方催了三次。
老韩把这笔账换算成时间：一套设备买回去至少用五年，组里五个人，每人每天在等计算上耗掉两小时，一年就是两千多个工时。买设备的本质，是把这部分时间赎回来。
周老师追问：钱具体花在哪几处？
老韩把精密测量实验室的典型负载分成三类，逐一说：
- 标定与误差建模。传感器标定曲线拟合、温度漂移补偿、迟滞与重复性分析，核心是 Levenberg-Marquardt 这类非线性最小二乘算法。这类计算对单核主频敏感，单次数据量不大，但迭代次数多，高频CPU优势明显。
- 阵列信号处理。128通道同步采集之后的滤波、相关分析、频谱计算，离不开快速傅里叶变换和卡尔曼滤波。FFT 是规则的并行负载，吃多核和内存带宽；卡尔曼滤波的递推结构对单线程延迟敏感。
- 不确定度评定与仪器仿真。蒙特卡洛法做不确定度传播，十万次独立抽样天然适合多核并行；仪器系统的 Simulink 行为仿真和多物理场耦合仿真，则对内存容量和存储读写速度提出要求。
“所以报价之前，我得先知道你这三类活各占多少比例。”老韩说，”比例不同，钱花的地方完全不同。”
对话二：陈博士问——”CPU和显卡，钱到底该砸哪边”
“我的日常大概是这样，”陈博士掰着手指头说，”七成时间做前处理：清洗标定数据、去噪、拟合补偿模型；两成时间跑蒙特卡洛和批量FFT；剩下一成跑 Simulink 仪器模型。大模型那边我还没动手，周老师让我先把流程搭起来。”
老韩听完给出判断：前处理占大头，CPU主频就是第一优先级——去噪和拟合这类任务线程不多，主频每高一分，交互就流畅一分。蒙特卡洛和批量FFT是第二优先级，核心数直接决定出结果的时间。显卡暂时排第三，但要给后面的大模型留位置。
陈博士提出一个具体的技术问题：128通道、每通道200kS/s、双精度存储，一秒的原始数据就是两百多MB。处理的时候是一次性装进内存，还是分块从硬盘读？
“这就引出两个容易被忽略的指标：内存容量和存储带宽。”老韩解释，”双精度数据做一次完整标定流程，中间变量至少是原始数据的好几倍。内存够大，整个数据集驻留内存，随机访问没有等待；内存不够，走分块流水线，存储的持续读写速度就成了瓶颈。所以这类机器一般建议 NVMe 起步，容量之外还要看持续写入跟不跟得上采集回放的速度。”
周老师插话：”显卡呢？学生们现在都在聊大模型，组里没卡会不会落后？”
“这就得单独算一笔账了。”老韩翻开笔记本，”本地部署大模型和你们现在的信号处理，是两套硬件逻辑，我把需求论证清楚，配置后面再谈。”
对话三：周老师追问——”会不会买完就过时”
在展开之前，周老师先问了第三个问题：仪器换代快，这套设备五年后还能用吗？
老韩的回答围绕”平台余量”：内存插槽有没有富余、PCIe 通道够不够加卡、电源功率有没有冗余、机箱散热在满载时留不留余地。他见过不少课题组，三年前买的机器今年想加一张显卡，发现电源功率不够、机箱塞不下、PCIe 通道被占满，等于整台重买。
陈博士追问：”也就是说现在买单卡，以后能升双卡？”
“前提是一开始平台就选对了，通道数、供电、散热三样都得提前留。”老韩说，”另外你们这种情况，我建议把大模型节点当成实验室的公共资产来规划，别挂在某台个人工作站上。内网服务一起步，后面要扩的是并发数，单机性能倒在其次。”
周老师点头，让老韩把大模型这块展开讲。
大模型内网部署：数据不出域，模型放哪台机器上
“横向合同写了数据不能出内网，公网API这条路直接堵死。本地部署的理由，对你们实验室有三条很实在。”老韩说。
其一，保密合规：未发表的标定数据、传感器型号参数、甲方提供的被测对象信息，都在合同保密条款覆盖范围内，交给外部服务就是违约风险。其二，离线可用：实验室网段本来就与外网隔离，本地服务不依赖任何外部连接，断网照跑。其三，长期成本：课题组这种全年不断的用量，按token计费的API用三五年，费用够买下半台机器。
模型选型上，老韩建议两条路线搭配。日常文档与代码辅助，用零一万物的 Yi-1.5-34B：2024年5月开源，340亿参数稠密模型，Apache 2.0 协议，代码和数学能力在同规模开源模型里靠前，32K上下文塞得下整份标定规程。深度任务——把多轮实验记录整理成结题报告初稿、依据仪器日志排查故障——上智谱的 GLM-4.5-Air：2025年7月开源，混合专家架构，总参数1060亿、每次推理激活120亿，MIT协议，带思考与非思考两种模式。
显存估算有一个通用公式：所需显存约等于参数量（B）乘以量化字节数再乘以1.2，系数留给KV cache和系统开销。FP16每参数占2字节，Q8占1字节，Q4占0.5字节。
- 算例一，Yi-1.5-34B：Q4量化下 34×0.5×1.2 约等于20GB，对照行业实测口径19~22GB，24GB显存是舒适线，上下文还有余量。
- 算例二，GLM-4.5-Air：MoE模型的显存按总参数算，激活参数再小也省不下来——106×0.5×1.2 约等于64GB，需要96GB级别的单卡才从容，或者双卡48GB分摊。
量化等级怎么选：FP16无精度损失但显存翻倍；Q8损失极小、容量减半；Q4在多数基准上只差一到两个百分点，容量只要四分之一。消费级和工作站部署默认Q4，冲的就是这个性价比。
速度量级决定体验：34B级模型用CPU纯内存推理，每秒只能生成个位数token，写一页报告要半小时；同模型搬到单张工作站显卡上，每秒几十到上百token，分钟级出稿。解码速度由显存带宽决定，读入长提示词的prefill由算力决定，两头都要看。
推理和微调是两笔账：用LoRA给 Yi-1.5-34B 做仪器术语适配，显存增量只要3~5GB，方案B那档顺手就能干；全参数微调连7B模型都要80GB以上显存——真有这个需求，得从方案C起步规划。
从讨论到落地：三套配置怎么定
老韩没有当场拍配置，回去按讨论记录整理了一周。用他的话说：高校买设备跟企业不一样，钱要花得能过验收、能用满一个项目周期、能撑到下一笔经费。三套方案按这个原则搭，课题组对号入座。
方案A：轻量负载
适用场景：单人课题起步，标定数据拟合、小通道数信号分析，顺带试跑14B级模型的本地推理。
| 硬件类别 | 具体配置 | 说明 |
|---|---|---|
| CPU | Intel Core Ultra 7 265K 20核(8性能核全核5.3GHz/12能效核全核3.8GHz) | 高主频性能核直接加速拟合、去噪这类单线程敏感的前处理任务 |
| GPU | RTX 5090D v2 24G 水冷 | 入门档的推理主力，水冷压制满载噪音，放办公室工位不吵 |
| 内存 | 64GB DDR5 | 标定流程的中间变量是原始数据的好几倍，64GB支撑单人数据集驻留内存 |
| 存储 | 2TB NVMe | NVMe起步，保障采集数据回放时持续读写不卡壳 |
| 显存 | 24G | 24GB是14B级模型Q4量化的舒适线，上下文还有余量 |
| 显存带宽 | 1.3TB/s | 解码速度由显存带宽决定，直接影响本地出稿的等待时间 |
推荐机型：A350 15364-MBT
硬件解析：这是一套典型的”前处理优先”入门配置——高主频CPU配大显存单卡，把实验室占七成的拟合去噪活从老爷机上接过来，同时让14B级模型在本地跑起来有个体面的起点；平台层面保留了日后加内存、换卡的余地，符合先跑顺流程再谈扩容的采购节奏。
这一档在会上一致通过，没人有异议——研究生工位配一台，先把占大头的前处理从老爷机上挪下来。
方案B：课题组主力
适用场景：128通道阵列的日常处理、批量FFT与蒙特卡洛评定，同时作为 Yi-1.5-34B Q4 的内网推理主机，实验记录问答、标定报告初稿都在这台出。
| 硬件类别 | 具体配置 | 说明 |
|---|---|---|
| CPU | Intel Core Ultra 7 265K 20核(8性能核全核5.3GHz/12能效核全核3.8GHz) | 蒙特卡洛十万次抽样天然并行，20核直接压缩不确定度评定的等待时间 |
| GPU | RTX 5090 32G 水冷 | 32GB显存覆盖 Yi-1.5-34B Q4 约20GB的需求，32K上下文塞整份标定规程仍有富余 |
| 内存 | 96GB DDR5 | 128通道阵列的完整标定流程中间变量翻倍增长，96GB让大数据集全程驻留 |
| 存储 | 4TB NVMe | 横向项目一天数百GB的采集量，需要更大的热数据空间周转 |
| 显存 | 32G | 34B Q4推理的显存舒适线之上，给批量任务的并发缓冲留量 |
| 显存带宽 | 1.8TB/s | 高带宽支撑长提示词prefill与解码两头，报告初稿分钟级出稿 |
推荐机型：A350 15396-MCT
硬件解析：这是整套方案里定位最均衡的一档——CPU主频与核心数同时照顾前处理和蒙特卡洛两条线，32GB显存单卡把34B级内网推理的账一次性算清，内存和存储按128通道阵列的中间变量口径配足；它承担的是课题组从”各跑各的”转向”一台主力出活”的枢纽角色，也是会上争论最久、最后被周老师摁在性价比甜点上的一档。
这一档争论最久：陈博士想把显卡再抬一档，周老师摁住了——先把流程跑顺，余量留给共享节点。
方案C：实验室共享大模型节点
适用场景：全组公用的大模型内网服务，跑 GLM-4.5-Air Q4，多人并发查询、结题报告生成、仪器日志排错，长期充当实验室的公共算力池。
| 硬件类别 | 具体配置 | 说明 |
|---|---|---|
| CPU | Xeon金牌6530 32核2.7G | 32核至强支撑推理框架在多路并发下的调度与prefill吞吐 |
| GPU | RTX Pro 6000 96GB | 96GB单卡从容容纳 GLM-4.5-Air Q4 约64GB的显存需求 |
| 内存 | 128GB DDR5 | 多人并发查询与长文档批处理的内存缓冲池 |
| 存储 | 4TB NVMe | 模型权重与实验记录库的本机高速存储 |
| 显存 | 96G | MoE显存按总参数计算约占64GB，96GB给KV cache和并发路数留足余量 |
| 显存带宽 | 1.8TB/s | 多人同时查询时，解码速度就靠显存带宽兜底 |
推荐机型：AX430 127128-MCF
硬件解析：这是一台按”公共资产”规划的共享推理节点——96GB单卡对准GLM-4.5-Air Q4的显存账本，至强32核扛并发调度，整体取舍明显偏向服务稳定性而非单点峰值性能；放在小机房常年开机，正是会上”挂在个人机上人毕业服务就断”这个共识落下来的实体。
这一档的争议不在配置，在归属：最后定下挂实验室公共账号管理，不跟任何个人的项目走。
常见问题
仪器厂商的软件授权能装在新工作站上吗
要逐家确认。仪器配套的分析软件常见的是绑定主机授权，换机器需要重新激活，有的厂商还按版本收升级费。采购前先列一张软件清单，把授权策略、迁移费用、系统兼容性逐条跟厂商核对，写进采购申请的备注里，免得设备到位了软件打不开。
蒙特卡洛跑不满所有核心怎么办
蒙特卡洛抽样本身天然并行，跑不满通常是两个原因：并行池没开够，或者内存带宽先到顶。前者检查 MATLAB 并行池或 Python 的多进程设置，把 workers 数量配到物理核心数；后者用监控工具看计算时的内存带宽占用，带宽满了再加核心也没用，反而该查数据排布和访存模式。
内网部署的大模型怎么更新和维护
模型权重文件走内网传输，服务用 Ollama 或 vLLM 这类推理框架常驻，版本更新先在测试端口跑通再切换。建议把模型版本和实验数据一样做归档管理，每次升级留记录，保证报告生成结果可复现。服务节点和采集网段之间按权限隔离，学生工位只暴露查询接口。
机器放办公室还是机房
塔式水冷机型放办公室没问题，满载噪音控制在可接受范围，学生调试方便。共享大模型节点建议放小机房或带锁机柜：它要常年开机，放办公室既占地方又增加噪音，机房里接 UPS 和万兆交换机也更顺手。
原始采集数据怎么备份
热数据放 NVMe，按周归档到大容量机械盘或组里的存储服务器。横向项目一天几百GB的量，备份周期要在合同里对齐交付节点，至少保证原始数据保留到项目验收之后。关键算例的中间结果单独留一份，避免重复算。
散会后，陈博士补记的几条避坑心得
第一，别把预算全堆在显卡上。精密测量的前处理吃主频，老韩第一天就问负载比例是有原因的——比例没摸清之前，任何配置单都别签字。
第二，内存要按中间变量算，不按原始数据算。一次完整标定流程的中间变量是原始数据的好几倍，只按原始数据配内存，跑到一半必然爆。
第三，大模型节点一开始就要按公共服务来买。挂在个人机上，人毕业服务就断；独立节点加内网地址，全组受益，资产管理也干净。
第四，合同里的保密条款要先翻译成 IT 需求。”数据不出域”落到采购清单上，就是内网部署的显存容量和并发路数；不提前翻译，验收时才发现缺项，补采购又要三个月。
结语
第三次讨论会散会时，周老师把打印纸拢成一叠，说了最后一句：”精密测量的前沿在山洞里，也在机房里。扭秤那头我们帮不上忙，机房这头，今晚定下来。”
一周后，采购申请递了上去。
