专注高性能计算领域资讯
专注高性能计算领域资讯
TensorFlow
做过大规模推荐系统模型训练的算法工程师都懂，TensorFlow跑千亿特征精排最崩溃的不是AUC上不去，而是Embedding层一上到千亿维ID，参数服务器（PS）直接内存溢出，稀疏查找和梯度更新因系统换页导致每step从秒级暴跌到分钟级。去年深秋，一个做电商大促推荐模型迭代的团队找到我们，离上线AB测试只剩五天。他们的TensorFlow模型（DeepFM，千亿特征ID，128维Embeddin […]
2024年，高性能计算领域有一条不太显眼但业内人都在讨论的消息：哈工大（深圳）计算机应用研究中心的大规模分布式训练系统，在2048块GPU组成的集群上跑出了百万级图片识别训练的最快纪录。成果发表在ASPLOS、EuroSys、INFOCOM这些系统顶会上，其中一篇拿了INFOCOM 2021的最佳论文奖。 2048块GPU同时运转，功率接近1.5兆瓦，相当于一个小型工厂的用电量。这种规模的集群，全 […]
当我第一次看到”多源融合高逼真度RCS构建”的技术路线*时，我是有点惊讶的。传统的隐身评估要么全靠电磁仿真——FEKO画个精细模型，PO/GO算一圈雷达视角，得到一条理论上很漂亮的RCS曲线；要么全靠外场试验——雷达开机，目标上天，实测数据是真实，但受限于雷达布控范围和飞行姿态，角度覆盖永远不全。 但这给了我一个新思路：与其在”全而不真”和̶ […]
说实话，看到AMD Zen 6架构的Venice EPYC处理器供不应求的消息，我倒不觉得意外。这事儿背后反映的其实是整个AI行业的一个尴尬现状——我们对算力的渴望，远远超过了半导体工厂的生产能力。 先说说让我印象深刻的几个数据。Zen 6 Venice处理器用的是台积电2nm工艺，单个CCD能塞下32个核心，8个CCD拼在一起就是256核的庞然大物。更夸张的是L3缓存能堆到1GB，能效还比上一代 […]
一、问题的提出 当你第一次将两张RTX 4090装入机箱，满怀期待地启动训练脚本时，可能很快就会遇到一个令人困惑的现象：第二块GPU的温度迅速攀升至83°C，风扇转速拉满，训练速度却不升反降。这不是硬件故障，而是多GPU深度学习系统中最常见的热管理困境。 注：NVIDIA GPU的83°C温度墙可通过nvidia-smi命令调整（如设置为88°C），但这会增加硬件风险，不建议长期运行。 根据NVI […]
文章分类
新闻订阅
订阅新闻简报
掌握信息主动权
精选行业动态 + 全网热点，不遗漏关键信息