Modal：混合精度混合加速器采样器实现稳定异步 RL
AI 总结
Modal 在一篇技术博客中称，在大模型强化学习中让采样器使用混合精度、混合加速器，可以在保持训练稳定的同时降低成本。实验中采样器分布在六类加速器上：B200 与 B300 提供 NVFP4 权重，H100 与 H200 提供 FP8 和 BF16 权重，A100 与 RTX PRO 6000 提供 BF16 权重，各自运行本机内核并把数据送给 B200 上的单个 BF16 训练器；训练对象是 Qwen3.6-35B-A3B，任务为智能体编程，上下文最长 256K，使用小米随 MiMo-V2.6 发布的 2.7K 仓库任务，并在 SWE-bench Pro V2 与 HARD-51 上评估。作者用掩码重要性采样（MIS）、分数居中（SC）和 top-p 掩码重放做离策略校正：未校正的 GRPO 在混合采样器上训练开始不久即崩溃，而 SC+MIS（无论是否加 top-p）可稳定训练，pass@4 在约 100–140 步内上升后在 HARD-51 上稳定在约 65–75%，完整集从 89% 升至约 94%，训练大部分时间里混合采样器每次更新的采样成本比同构采样器低约 15%。
深度见解
如果混合精度、混合加速器采样确实可行，大规模 RL 后训练就能用更便宜的推理硬件做采样而不牺牲稳定性，对成本敏感的训练团队有直接参考价值。