摩尔线程开源 Megatron-MUSA-Titan，聚焦大规模 MoE 训练
AI 总结
摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，该项目适配公司的 MUSA 平台及全功能 GPU。据 IT之家报道，项目聚焦万卡级集群的万亿参数 MoE 预训练与强化学习，支持 blockwise FP8 训练，并可结合 DeepEP 与 ACE 异步通信引擎实现专家并行与计算的通算重叠。摩尔线程称，该项目已在其万卡级集群的万亿参数 MoE 预训练中持续应用，并支持与 slime、miles 强化学习框架协同，结合 Megatron 训练与 SGLang 样本生成。所供报告未独立验证其模型算力利用率及长稳训练表现。
深度见解
此次开源为摩尔线程 GPU 上的万亿参数 MoE 预训练与强化学习提供了开放训练栈，其中包括面向 MUSA 的适配以及针对大规模集群的通信功能。