DeltaTTG：多轮智能体训练的 Token-to-Go 进度计量
AI 总结
一篇 arXiv 论文提出 DeltaTTG，通过一个共享的“进度计量器”为多轮智能体的强化学习提供可复用的进度信号，其监督目标是 Token-to-Go（TTG），即任务完成前还需生成的 token 数量，用作剩余完成工作量的可观测代理。该方法利用来自不同策略已记录轨迹的低成本监督，无需任务特定的进度规则；在 actor 训练时，冻结计量器估计值的变化会在各步之间重新分配由结果推导的优势，而不改变奖励本身。在 ALFWorld、PaperSearchQA 和 BFCLv3 上，DeltaTTG 在 Qwen3-4B 与 Llama-3.1-8B-Instruct 上相对 GRPO 的平均分分别提升 5.7 和 7.2 分，平均表现优于所比较的强化学习基线，同时 actor 训练的 GPU 小时数与 GRPO 接近；作者还报告了样本效率和域外表现的改善，并公开了代码。
深度见解
它为多轮智能体提供了一种密集而低成本的进度信号，有望让 RLVR 训练在更少样本下获得更好效果。