创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

八卦炉2为MoE训练引入运行时自适应激活显存管理

AI 总结

机器之心报道,清华大学团队研发的八卦炉2(BaGuaLu-2)相关论文已被SC26录用。该系统利用运行时负载信息,分别为不同算子决定保存、重计算或卸载激活,并通过流水线空隙调度额外工作。团队已开源激活显存分析模型、调度器集成的激活卸载与回载等核心代码,同时提供适配样例和中立评测基准;公开仓库未包含论文介绍的全部运行时机制。在团队自报的使用128至12,288张海光DCU、模型规模为188B至1.04万亿参数的测试中,该系统平均吞吐较Megatron-Kuai和AdaPipe分别提升1.14倍和1.13倍。

深度见解

专家负载不均引发的激活显存尖峰可能导致单卡OOM并中断分布式MoE训练。八卦炉2通过运行时算子级决策和重叠调度应对这一问题,其公开的核心组件、适配样例和评测基准也可供工程师将相关技术集成到现有训练流水线中。

机器之心 2026-10-28 12:03 北京

运行时自适应化解显存尖峰,无需修改配置,代码已开源

机器之心发布

大模型训练已经跑到万卡集群规模,显存始终是那道隐形的门槛。

#BaGuaLu-2#BaGuaLu#Tsinghua University#Megatron-Kuai#AdaPipe#Hygon DCU#Hygon BW1000

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。