清华核研院高温堆课题组算力基建——从子通道分析到蒙特卡洛中子输运的核级仿真硬件配置

一、引言:大国重器背后的仿真支撑

2023年12月6日,山东荣成石岛湾,华能石岛湾高温气冷堆核电站示范工程正式投入商业运行。这是全球首座投入商业运行的第四代核电站,标志着中国在第四代核能技术研发和应用领域达到世界领先水平。作为这一国家科技重大专项的技术研发主体,清华大学核能与新能源技术研究院(以下简称”核研院”,院内师生习惯称其为”200号”)的三代核能人,用三十余年时间走过了从跟跑、并跑到领跑的完整历程。

从2000年10兆瓦高温气冷实验堆建成,到2023年20万千瓦级示范工程商运投产,堆芯热工水力分析与燃料元件性能分析始终是核研院的核心技术高地。作为课题组负责人,我深知这些研究背后的算力需求有多么苛刻:

  • 子通道分析:一个900MW高温气冷堆堆芯包含约36万个燃料球,子通道模型需要求解数十万个控制体的质量、动量、能量守恒方程,矩阵维度轻松突破百万级;
  • CFD-DEM耦合:球床堆内燃料球的流动特性模拟,需要同时求解连续相(氦气)的Navier-Stokes方程和离散相(燃料球)的牛顿运动方程,粒子数量达到10⁶量级时,接触检测计算量呈O(N²)增长;
  • 蒙特卡洛中子输运:堆芯物理设计验证需要MCNP或OpenMC进行全堆芯模拟,统计收敛要求的历史粒子数往往超过10⁹,单算例运行时间以天为单位。

这些仿真任务对计算硬件的要求,已经远超普通工程计算范畴。本文将结合清华核研院的实际科研经验,给出一套面向核工程仿真的四级算力配置方案。

二、前沿技术:高温堆仿真的三大支柱

2.1 子通道分析:堆芯热工水力设计的核心工具

高温气冷堆采用球形燃料元件(直径60mm,外包覆TRISO颗粒)堆积成球床,冷却剂氦气自下而上流过球床带走热量。与压水堆的棒束结构不同,球床堆的流道极其复杂,传统CFD方法难以直接应用。

子通道分析法将球床划分为若干相互连通的子通道,通过求解一维守恒方程组获得冷却剂温度、压力、流量分布。在清华核研院的工程实践中,我们主要采用以下方法:

分析方法适用场景网格规模计算时间
简化子通道法概念设计、快速筛选10³-10⁴通道分钟级
精细子通道法详细设计、安全分析10⁵-10⁶通道小时级
多孔介质CFD局部精细分析10⁶-10⁷网格天级

以石岛湾示范工程为例,其堆芯直径约3米,高度约9米,装填约42万个燃料球。采用精细子通道模型时,需要将堆芯划分为约36万个子通道,求解包含质量、动量、能量方程在内的大型稀疏线性系统。

2.2 CFD-DEM耦合:球床流动特性的精细化模拟

球形燃料元件在高温气冷堆中并非固定不动,而是通过燃料装卸系统缓慢流动(日循环量约为堆芯总装料的1/7)。燃料球的流动特性直接影响:

  • 堆芯功率分布的均匀性
  • 燃料球排出时的燃耗深度一致性
  • 潜在卡球风险的评估

CFD-DEM耦合方法将计算域分为两个层次:

  • 连续相(氦气):采用传统CFD方法求解Navier-Stokes方程
  • 离散相(燃料球):采用离散元方法(DEM)跟踪每个燃料球的运动轨迹

两者通过 drag force(曳力)模型耦合。在清华核研院的研究中,针对石岛湾示范工程的燃料球流动分析,我们需要跟踪约10⁵个燃料球的运动,每个时间步(10⁻⁴秒量级)需要检测所有粒子间的接触,计算量极其庞大。

2.3 蒙特卡洛中子输运:堆芯物理设计的金标准

中子输运计算是核反应堆物理设计的核心。与确定论方法(如扩散理论)不同,蒙特卡洛方法通过模拟大量中子的随机游历来获得通量分布,具有几何适应性强、能谱精度高的优势。

在清华核研院,我们主要使用:

  • MCNP:美国洛斯阿拉莫斯国家实验室开发的通用蒙特卡洛程序,行业金标准
  • OpenMC:MIT开发的开源蒙特卡洛程序,支持大规模并行

高温气冷堆的全堆芯蒙特卡洛模拟面临的挑战:

  • 几何复杂性:42万个燃料球,每个球包含约1.2万个TRISO颗粒,总几何体数量达5×10⁹量级
  • 统计收敛:有效增殖系数k_eff的统计误差需控制在±50pcm(0.0005)以内,需要运行10⁹-10¹⁰个中子历史
  • 计算成本:单核CPU运行时间可达数周,必须依赖大规模并行

2025年3月,核研院团队在Nature Communications上发表的论文,正是基于大规模蒙特卡洛模拟揭示了高温气冷堆多模块协调控制的物理机制。

三、算法本质:为什么核工程仿真”吃”的是这些硬件

3.1 子通道分析:稀疏矩阵求解的内存与带宽博弈

子通道方程组可以表示为:Ax=bAx = bAx=b

其中A是大型稀疏矩阵,其维度等于子通道数×方程数(每个子通道通常求解质量、动量、能量3个方程)。对于36万子通道的精细模型,矩阵维度超过100万×100万,但稀疏度低于0.01%。

硬件瓶颈分析:

  • 内存:采用CSR(Compressed Sparse Row)格式存储,每百万维度约需1-2GB内存。36万子通道模型约需50-100GB内存。
  • 内存带宽:稀疏矩阵-向量乘法(SpMV)是核心运算,性能受限于内存带宽而非浮点算力。双路EPYC的内存带宽(400-600GB/s)是Threadripper(约100GB/s)的4-6倍,子通道求解速度相应提升3-5倍。
  • 并行扩展性:子通道求解采用迭代法(如GMRES),并行效率在64-128核后开始衰减。

3.2 CFD-DEM耦合:粒子接触的O(N²)复杂度陷阱

DEM的核心计算开销在于接触检测。对于N个粒子,朴素算法的接触检测复杂度为O(N²)。对于10⁵个燃料球,每步需要检测约5×10⁹对粒子,这是不可接受的。

空间网格法(Cell-linked List)将计算域划分为网格,每个粒子只需检测相邻网格内的粒子,将复杂度降至O(N)。但即便如此:

  • 内存需求:每个粒子需存储位置、速度、角速度、力等状态,约需200-500字节。10⁵粒子约需50-100MB,看似不大,但CFD-DEM耦合需要同时存储流体场和粒子场,总内存需求可达数十GB。
  • 负载均衡:粒子在重力作用下会向下聚集,导致并行计算时某些进程负载过重,需要动态负载均衡算法。

3.3 蒙特卡洛中子输运:伪随机数并行与统计收敛

蒙特卡洛方法的并行特性与传统CFD截然不同:

  • ** embarrassingly parallel**:每个中子历史完全独立,理论上可以完美并行到任意核数
  • ** 伪随机数问题**:并行计算时需要确保不同进程的随机数序列不重叠,通常采用”跳跃 ahead”或”分块”策略,增加了一定开销
  • ** 方差缩减**:为了提高收敛速度,需要采用重要性抽样、区域分解等技巧,这些技巧的并行实现往往比较复杂

硬件需求:

  • 内存:MCNP需要存储大量的核截面数据(ACE格式),一套完整的ENDF/B-VIII.0库约需10-20GB内存。全堆芯模型本身的几何描述也需要数GB。
  • 计算:每个中子历史需要执行大量的浮点运算(截面查找、碰撞抽样、几何追踪),CPU浮点性能是关键。
  • 存储:虽然单算例输出不大,但参数扫描(不同燃耗、不同温度、不同控制棒位置)会产生大量结果文件,需要大容量存储。

四、四级算力配置方案

基于核研院二十余年的硬件迭代经验,我们建议采用四级配置策略:

4.1 入门型:本科生教学与概念设计

适用场景:

  • 反应堆物理/热工基础课程作业(简化子通道模型、单通道分析)
  • 概念设计阶段快速估算(一维热工计算)
  • 蒙特卡洛入门练习(简化几何、少粒子数)

重点配件:

  • CPU:AMD Ryzen 9 9950X(16核32线程,Zen 5架构,单核性能优异)
  • 内存:64GB DDR5-5600(2×32GB,预留升级空间)
  • 存储:2TB NVMe SSD(PCIe 4.0,快速读写截面库)
  • 显卡:NVIDIA RTX 4070 SUPER 12GB(可选,用于ParaView可视化)

性能预期:

  • 简化子通道模型(1万通道):求解时间<10分钟
  • MCNP简化模型(10⁶粒子):运行时间2-4小时

4.2 进阶级:博士生主力工作站

适用场景:

  • 学位论文核心计算(精细子通道分析、局部CFD-DEM耦合)
  • 燃料元件性能分析(辐照-热-力耦合)
  • 中等规模蒙特卡洛模拟(10⁸粒子)

重点配件:

  • CPU:AMD Threadripper PRO 7995WX(96核192线程,Zen 4架构,8通道内存)
    • 或 Intel Xeon w9-3495X(56核112线程,针对MCNP优化更好)
  • 内存:256GB DDR5-4800(8×32GB,满通道配置)
  • 存储:
    • 系统盘:2TB NVMe SSD
    • 数据盘:4TB企业级SSD(截面库、临时结果)
  • 显卡:NVIDIA RTX Pro 5000 Blackwell 32GB(大显存用于可视化千万级网格)

性能预期:

  • 精细子通道模型(36万通道):求解时间4-8小时
  • CFD-DEM耦合(10⁵粒子,1000时间步):运行时间12-24小时
  • MCNP中等规模(10⁸粒子,k_eff误差±100pcm):运行时间6-12小时

4.3 专家级:组内共享计算服务器

适用场景:

  • 国家重大专项攻关(石岛湾示范工程全堆芯验证)
  • 全堆芯蒙特卡洛模拟(10⁹-10¹⁰粒子)
  • 长时间瞬态分析(失冷事故、失压事故)
  • 多工况参数扫描(不同燃耗、不同功率水平)

重点配件:

  • CPU:双路 AMD EPYC 9684X(2×96核192线程,共384线程,3D V-Cache加速)
    • 或 双路 Intel Xeon Platinum 8592+(针对MCNP的Intel编译器优化)
  • 内存:1TB DDR5-4800(16×64GB,双路共24通道)
  • 存储:
    • 高速层:4×3.84TB NVMe SSD(RAID 0,并行I/O)
    • 容量层:20TB HDD(截面库、历史结果归档)
  • 网络:10GbE(与校级超算互联,必要时 offload 任务)

性能预期:

  • 全堆芯蒙特卡洛(10⁹粒子,k_eff误差±50pcm):运行时间12-24小时
  • 多工况并行:可同时运行8-16个中等规模MCNP作业
  • RELAP5长时间瞬态(10⁴秒物理时间):运行时间2-4天

4.4 集群级:国家重大专项与超算协同

适用场景:

  • 极高精度蒙特卡洛(10¹¹粒子,用于基准题验证)
  • 全堆芯CFD-DEM耦合(10⁶粒子级)
  • 与清华校级超算(”探索100″)协同的大规模并行
  • 核数据库生成与处理(ENDF处理、多群截面制作)

重点配件:

  • 计算节点:4-8节点,每节点双路 EPYC 9655(96核192线程)
  • 内存:每节点512GB-1TB(共2-8TB集群总内存)
  • 互联:InfiniBand HDR 200Gb/s(低延迟MPI通信,蒙特卡洛并行必需)
  • 存储:并行文件系统(Lustre/BeeGFS),裸容量50TB+
  • 加速节点:2×NVIDIA H100 80GB(用于AI代理模型训练,加速燃料性能预测)

部署模式:建议与清华高性能计算中心合作部署,或采用”本地预处理+云端大规模求解”的混合模式。

五、清华实践:核研院算力管理的特殊考量

5.1 核工程软件的特殊性

与常规工程软件不同,核工程仿真软件涉及核技术出口管制:

  • MCNP:美国能源部管控软件,需要申请许可,禁止向特定国家/地区出口
  • RELAP5:美国核管理委员会(NRC)开发,同样需要出口许可
  • 开源替代:OpenMC(蒙特卡洛)、RELAP-7(热工水力)正在核研院逐步推广

我们的策略:

  • 合规第一:严格遵循出口管制规定,不参与任何违规传播
  • 双轨并行:关键项目保留MCNP/RELAP5授权,同时投入资源开发验证OpenMC等开源工具
  • 自主可控:自研子通道程序、燃料性能分析代码,降低对外依赖

5.2 长周期计算的可靠性保障

蒙特卡洛模拟动辄运行数天甚至数周,计算中断是最大噩梦:

  • 机房断电、散热故障、系统更新…

核研院的解决方案:

  • UPS全覆盖:所有服务器配备UPS,支持至少30分钟续航
  • Checkpoint机制:MCNP/OpenMC设置定期写入restart文件,中断后可从中断点续算
  • 专用机房:”200号”建有专业机房,恒温恒湿,N+1冗余供电

5.3 数据安全与保密管理

核工程设计数据属于国家秘密,算力管理必须满足保密要求:

  • 物理隔离:涉密计算节点与互联网物理隔离
  • 分级存储:秘密级数据只能存储在涉密服务器,禁止外传
  • 审计追溯:所有计算任务记录日志,便于审计

六、避坑指南:核工程仿真硬件选购的六个陷阱

坑1:忽视核数据库的存储需求

场景:买了大内存大CPU,却发现MCNP运行时报”Cannot allocate memory”,原因是截面库没地方放。

原理:一套完整的ENDF/B-VIII.0连续能量截面库约需15-20GB内存加载。如果内存不足,MCNP会尝试从硬盘读取,速度下降数十倍。

对策:

  • 内存≥128GB是运行全堆芯MCNP的起步配置
  • 使用SSD存储截面库,减少I/O等待
  • 定期清理临时文件,截面库本身只读不改

坑2:DEM模拟盲目追求GPU加速

场景:听说GPU加速粒子计算很快,买了A100跑DEM,发现提升有限甚至不如CPU。

原理:传统DEM算法(如开源代码LIGGGHTS)对GPU优化不足,粒子间接触的随机内存访问模式不适合GPU架构。除非是专门重写的CUDA版本(如 BlazeDEM),否则CPU多核更具性价比。

对策:

  • CFD-DEM耦合优先投资多核CPU+大内存
  • 如果确实需要GPU加速,选择支持CUDA的DEM软件( commercial软件如Rocky DEM)

坑3:蒙特卡洛并行时的随机数陷阱

场景:用1024核跑MCNP,结果k_eff的统计误差反而比128核更大。

原理:并行蒙特卡洛时,如果随机数序列设置不当(如所有进程使用相同种子),不同进程的粒子历史会高度相关,导致统计结果偏差。

对策:

  • 使用MCNP的DBCN卡片正确设置并行随机数
  • 检查k_eff的统计误差(1σ标准差),而非单纯看数值
  • 不同核数的结果应该在统计误差范围内一致

坑4:子通道分析的矩阵病态问题

场景:精细子通道模型求解不收敛,或结果出现非物理振荡。

原理:当相邻子通道的流通面积差异过大时,系数矩阵可能病态,导致迭代求解困难。

对策:

  • 网格质量检查:确保子通道尺寸过渡平滑
  • 预处理器选择:使用ILU(不完全LU分解)等预处理器改善收敛性
  • 双精度计算:单精度浮点可能在迭代过程中累积误差,核工程计算建议全程双精度

坑5:忽视长时间瞬态的存储需求

场景:做LOCA(失冷事故)瞬态分析,保存了每个时间步的结果,一周后发现硬盘满了。

原理:RELAP5的瞬态分析可能包含10⁴-10⁵个时间步,每个时间步保存全堆芯状态,数据量可达数百GB。

对策:

  • 只保存关键时间步(如每0.1秒或每1秒)
  • 使用在线分析工具提取关键参数(峰值温度、包壳应力)后删除原始场文件
  • 预算中存储成本≥计算成本

坑6:软件授权与硬件的绑定陷阱

场景:买了AMD EPYC服务器,却发现某些核工程软件(旧版本)在AMD平台上性能只有Intel的60%。

原理:部分美国开发的核工程软件(尤其旧版本)针对Intel编译器优化,在AMD平台上存在性能折损。

对策:

  • 购买前查阅软件官方硬件兼容性列表
  • 优先选择开源软件(OpenMC、RELAP-7)避免商业偏向
  • 如果必须用商业软件,考虑Intel Xeon平台(虽然性价比略低)

七、结语:算力是手段,安全是目标

在研院,我们始终牢记王大中院长的教诲:“安全是核能发展的生命线”。无论是石岛湾示范工程的固有安全设计,还是日常科研中的每一次仿真计算,我们的目标都是通过精确的计算分析,确保反应堆在任何工况下都能安全运行。

算力配置只是实现这一目标的工具。从2000年建成10兆瓦高温气冷实验堆时的”小机器大计算”,到今天石岛湾示范工程背后的千万亿次级算力支撑,清华核研院的算力基建始终服务于”安全”这一核心目标。

对于正在规划核工程课题组算力建设的同行,我的建议是:从实际安全分析需求出发,量力而行,逐步迭代。与其盲目追求顶配,不如先建立”个人工作站+组内服务器+超算中心”的三级架构,让每一分硬件投资都能产生实实在在的安全分析能力。

毕竟,在核能这个特殊的领域,我们追求的从来不是算力本身的堆砌,而是用可靠的计算,守护核安全的底线。

延伸阅读:

  • 张作义等. 高温气冷堆核电站示范工程关键技术研发与工程实践[J]. 核科学与工程, 2023.
  • 王大中. 模块式高温气冷堆的发展与展望[J]. 清华大学学报(自然科学版), 2000.
  • Tsinghua University. Safety Demonstration Tests of the HTR-10[R]. IAEA Technical Report, 2004.

工作站配置选型欢迎咨询~
微信号:maxftxwx
fuyiqin@xasun.com