智能体强化学习自蒸馏方法对比研究
AI 总结
一篇新论文对智能体强化学习中的自蒸馏方法进行了系统性检验：作者在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 四个环境、三种模型规模上，把十种代表性方法与 GRPO 基线对比，共完成 132 次训练、累计记录 12,124.4 个 H800 GPU 小时，并对预训练骨干和全部十一种方法用八个 rollout 随机种子重复评测。研究给出三点发现：相对于 GRPO 的增益范围有限，没有任何方法在所有设定下持续胜出；最终性能强可能掩盖训练不稳定；增加训练成本并不稳定地换来更好表现。作者表示该基准旨在支持公平、全面的比较。
深度见解
它为智能体强化学习训练方法的比较提供了统一且兼顾成本与稳定性的参照，提醒研究者不要只看最终分数。