PPO

两条新闻,同一个信号 2025年12月11日,华中科技大学人工智能与自动化学院张海涛教授、卢仁智副教授与机械科学与工程学院丁汉院士的联合团队,在《自然·通讯》(Nature Communications)上发表了一篇颇具分量的论文:《具身强化学习智能体的奖励函数发现》。长期以来,用强化学习训练机器人,奖励函数全靠研究者手工设计——调参凭经验,换个任务就要重来一遍。这个团队换了一条路:从生物进化的遗 […]

Isaac Sim是NVIDIA Omniverse平台的机器人仿真利器,物理渲染一体的强化学习训练一个PPO任务就能跑通Cartpole demo。可真实抓取任务一上手就崩溃——RTX光追渲染的GPU显存爆炸、PPO并行的环境实例内存暴涨、域随机化批量训练跑到第三个episode被OOM杀掉。更头疼的是,物体抓取数据、网络策略权重、场景布局全是实验室的核心资产,数据涉密不敢传云端API,Isaa […]

一个仿生机器人课题的完整周期 2025年初,一个做仿生机器人的课题组接到了一个新方向:给四足机器人做复杂地形的自适应步态控制。组里已有的设备是两台学生自带的游戏本,跑个小车巡线Demo绰绰有余,但一开动力学仿真,风扇就开始轰鸣,时间步长稍微调小一点,半天只能推进几秒的仿真时长。 这个课题最终做了十四个月,从文献调研、本体建模、仿真训练,到真机部署、数据分析,走完了一个典型的智能机器人研发周期。这篇 […]

灾难现场:演示前72小时,六天的训练进度归零 2026年5月,一支做人形双足机器人的研发团队,距离投资人现场演示还剩72小时。团队用一台开发机跑仿真强化学习训练:24核桌面处理器、单张16GB显存的显卡、64GB内存,搭配上TB容量的SATA固态盘。训练进行到第六天深夜,屏幕上跳出显存溢出报错,训练进程直接死掉。更糟的还在后面:训练检查点写在系统盘里,盘快写满时自动保存间隔被拉长到了24小时以上, […]

当飞行器学会”自己思考” 2026年8月,桂林。2026国际制导、导航与控制(GNC)学术会议在此举办,来自全球的研究者齐聚一堂。会议报告名录里,高超声速变构飞行器的智能鲁棒姿态控制、基于深度进化强化学习的制导控制一体化、多智能体协同决策等议题占据了核心位置。中国科学院院士郭雷在大会报告中提出了一个引人深思的命题——智能飞行器正从”人工”智能走向&# […]

2017年12月,中原某地,气温零下4摄氏度。随着指挥员一声令下,20余架固定翼无人机相继腾空而起,在空中快速集结编队,飞向指定区域执行侦察任务。这支来自国防科技大学智能科学学院的团队,平均年龄不到30岁,已经在这个试验场连续奋战了9个月。忙的时候,一天要进行100多架次试验。团队负责人沈林成教授后来在接受媒体采访时说,他们在分组分簇自适应分布体系架构、按需探测自组织任务规划、极低人机比集群监督控 […]

你在Ray集群上启动了PPO策略网络训练,Actor和Critic分别挂在两个节点,经验回放池(Replay Buffer)堆了十万条trajectory,GAE优势估计开起来,日志里刚打印完Episode 1, mean reward: -142.3,下一秒终端一片血红——ray.exceptions.OutOfMemoryError: Plasma store ran out of memor […]

2025年10月,中国电子学会在西安举办了一场名为”雷达智能成像与干扰对抗”的专题论坛[来源:中国电子学会雷达分会]。这场由某高校联合承办的学术活动,汇集了来自国防科技大学、西安电子科技大学、复旦大学等多所机构的青年专家。论坛上的一个核心议题——认知电子战——吸引了在场所有人的注意。 认知电子战并非新鲜概念。早在2010年,美国DARPA就启动了”自适应电子战行 […]

2024年全国大学生交通运输科技大赛上,哈尔滨工业大学一支学生团队的作品《基于自主感知导航的空地协同搜救系统》拿了一等奖。这套系统由自主无人机和自主搜救车组成,无人机负责高空侦察,搜救车负责地面执行,两者之间需要实时交换感知数据、协同路径规划。评委会给出的评语里有一条很具体:空地协同的核心难点不在单平台智能,而在多平台之间的信息同步与决策一致性。 这句话放到车路协同领域,同样成立。一年后,哈工大交 […]

2025年仲夏,物理学顶级期刊《Physical Review Letters》的编辑在审阅一篇投稿时,罕见地按下了”Editors’ Suggestion”按钮,这是PRL每期从数百篇文章中精选出的极少数”值得特别关注”的工作。被点名的这项研究来自哈尔滨工业大学深圳校区前沿学部:仲政教授和梁旭东教授团队用多尺度力学模型,把果蝇幼虫翻滚运 […]

2025年2月,哈尔滨亚冬会开幕式现场,乐聚机器人研发的”夸父”人形机器人在火炬传递环节稳步前行。少有人知的是,这个看似简单的”走路+伸手”动作,背后经历了数千小时的虚拟仿真训练——从平衡控制到环境感知,再到机械臂末端轨迹规划,每一步都是在Isaac Sim构建的数字孪生空间里先跌倒过数千次,才被允许进入真实世界。 “夸父”的 […]

引言:2017年6月12日,Google Brain团队的八位作者在arXiv上投递了一篇题为《Attention Is All You Need》的论文,全文仅11页,提出了一个名为Transformer的全新神经网络架构。论文的核心主张极具突破性:完全基于自注意力机制,不再依赖循环神经网络(RNN)或卷积神经网络(CNN)的序列处理方式。这一设计在当时并未立即引起广泛关注,因为它没有在标准基准 […]