一篇提交到 arXiv 的预印本（arXiv:2610.21439，2026 年 10 月 15 日）提出 MRTPO 方法，用于多奖励强化学习中的信用分配。作者指出，此前的奖励解耦归一化方法 GDPO 虽对每个奖励单独归一化，但仍把每个奖励的优势均匀铺满整条回答，而每个验证器实际只检查少数位置。MRTPO 让策略在带与不带某个奖励验证器信息两种情况下重放自己的回答，用逐 token 的 Jensen-Shannon 距离衡量该 token 与该奖励的相关性，从而把优势重新分配到相关 token 上，且无需辅助模型或 token 级标注。作者称在 text-to-SQL、多约束指令跟随和工具调用上，MRTPO 比对比方法收敛更快、效果更好，论文共 15 页、8 张图。

MRTPO·GDPO·arXiv