arXiv预印本:长程强化学习训练配方倚重Muon优化器
AI 总结
arXiv 于 2026 年 10 月 14 日挂出论文《Long-Horizon RL Needs Muon》,作者为 Kai Ruan、Jinghao Lin、Tao Chen 等六人,目前标注为进行中的工作,共 7 页、5 张图。论文研究面向长程智能体的强化学习:这类任务需要在长时间交互中协调推理、工具调用与环境反馈,而从稀疏的结果奖励中学习需要对不同长度的轨迹加权,并在 rollout 仍在采集时更新策略。作者提出的单轨迹异步方案结合 Muon 优化器、token 平均损失、截断重要性采样以及长度与工具报错辅助惩罚,并在两个模型家族上针对代码仓库级 issue 解决任务考察了优化器选择与配方组件。作者称完整配方的训练成功率高于基线,但该结果仅为作者自报,未见独立复现。
深度见解
论文把优化器选择(Muon)与异步 rollout、损失加权等训练配方组件放到同一套长程智能体强化学习框架下做对照,为工程实践提供了一个可检验的配方组合,不过其效果目前只有作者自报证据。
Computer Science > Machine Learning
arXiv:2610.20256 (cs)
[Submitted on 14 Oct 2026]
Title:Long-Horizon RL Needs Muon
Authors:Kai Ruan, Jinghao Lin, Tao Chen, Ziqi Zhou, Qianshan Wei, Zihe Huang
View a PDF of the paper titled Long-Horizon RL Needs Muon, by Kai Ruan and 5 other authors