专注高性能计算领域资讯
专注高性能计算领域资讯
Spark
社会计算号称”读懂舆论场的显微镜”，千万级推文情感分析一上，舆情监控、市场洞察、公共决策全靠它出信号。Spark做分布式文本挖掘，分词、向量化、模型推理流水线一跑，shuffle一多，Executor内存直接撑爆，作业从分钟级拖到小时级。更头疼的是，原始推文、用户画像、舆情标注数据全是机构的核心资产，数据涉密不敢传云端API，OOM、shuffle倾斜、任务假死只能自己硬啃 […]
无人机遥感影像、水下传感器记录、卫星对地观测等数据源源不断汇聚——这些数据洪流汇聚到同一个地方，等待被理解、被分析、被转化为决策依据。这个”转化器”，就是大数据管理与智能分析平台。而要让这个平台真正跑起来，背后的算力基建，往往才是决定成败的关键。 从国家工程实验室看大数据平台的战略价值 2017年，西北工业大学作为承担单位的”空天地海一体化大数据应用技术国家工程 […]
一、当数据库遇上”AI for Science” 2025年底，西北工业大学计算机学院尚学群教授团队在单细胞与空间转录组数据整合分析领域取得新进展，相关成果发表在Genome Research等顶级期刊。这项研究背后，是团队长期深耕的”AI for Science”方向——用人工智能方法处理海量生物数据。 但鲜为人知的是，支撑这类研究的底层基础设施， […]
数据挖掘是商业决策的第一道闸：特征差一个百分点，用户画像就可能翻盘；ETL pipeline崩了，后面的模型训练和A/B测试全白做。Apache Spark名声在外，可数据量上到十亿级、Shuffle一触发、Join+聚合一叠加，分布式任务跑到一半先崩给你看——Executor内存爆红，几十GB的Shuffle中间结果断在半截。更憋屈的是，用户行为日志和交易数据是企业的核心资产，OOM了你连把报错 […]
2024年，国防科技大学计算机学院在博士研究生招生目录中明确列出”分布计算技术”研究方向，导师团队包括王怀民院士、史殿习教授等分布式系统领域的核心学者。这不是一个冷门方向——从Google的MapReduce论文发表至今，分布式计算已经走过了整整二十年，从学术论文里的抽象模型变成了数据科学、人工智能、金融风控的底层基础设施。当一台机器的内存放不下整个数据集，当单次训练需要遍 […]
2021年和2022年，哈尔滨工业大学数据科学与大数据技术专业连续两年蝉联软科中国大学排名该专业全国第一。2022年，该专业获批国家一流专业建设点。王宏志教授带领的海量数据计算研究中心，在VLDB、SIGMOD等顶级会议发表三百余篇论文，其团队研发的TENSILE张量粒度显存动态调度方法发表于IEEE TKDE——这些成果的背后，是大量TB级数据在本地工作站上的反复清洗、预处理和模型验证。 而大多 […]
一、龙软的起点：中国遥感的第一行代码跑在北大 1983年，中国遥感学科体系尚处于起步阶段，相关术语和标准仍在完善中。同年，北京大学成立了全国第一个遥感技术与应用研究所——这就是今天北大遥感与地理信息系统研究所的前身。 那时候没有商用GIS软件，没有Google Earth，没有Sentinel卫星免费下载。研究者们处理的是航空摄影胶片，手动判读，用透明聚酯薄膜叠加做空间分析。北大遥感所在这样的条件 […]
先说结论： 如果你打算买一台工作站跑图神经网络（GNN）或者工业级推荐系统，千万别照搬计算机视觉那套”堆显卡显存”的思路。图数据是出了名的”内存带宽黑洞”和”随机访问刺客”，四张RTX 4090插满但内存只有128GB的机子，跑大图时GPU利用率能跌到10%以下，钱全白花。 这篇文章从北京大学 recent 的一个获 […]
当一台机器不够时，问题才真正开始 2017年，北京大学崔斌教授团队和腾讯合作，在《National Science Review》上发表了一篇论文——《Angel：一种新型大规模分布式机器学习系统》。这不是一篇普通的学术文章，它解决的是一个工业级痛点：当模型参数的维度达到十亿甚至百亿，当数据分布在上千台服务器上，传统的TensorFlow和Spark都扛不住了。 Angel的核心思想是参数服务器（ […]
文章分类
新闻订阅
订阅新闻简报
掌握信息主动权
精选行业动态 + 全网热点，不遗漏关键信息