TPPO：改进PPO价值追踪，提升语言模型推理
AI 总结
一篇 arXiv 预印本提出 Tracking-Value PPO（TPPO）：作者分析相邻前缀价值的关系，发现其在对数几率空间具有可加性的贝叶斯分解，据此用逐位置标量输出求和得到价值 logits 的累积价值参数化，并以终端结果监督学习这些输出。论文报告在 Qwen3-4B-Base 和 Qwen3-8B-Base 上，数学推理总得分比标准 PPO 分别提高 7.0 和 8.4 分，同时改善分布外泛化。增益还延伸到 Qwen3-4B、Qwen2.5-Math-1.5B、Qwen3.5-9B 以及 countdown 和科学编程任务，作者称其价值演化追踪更准确、优势估计更可靠，代码已公开。
深度见解
若结果可复现，这类针对 critic 价值追踪的改动可为稀疏终端奖励下的推理强化学习提供更可靠的优势估计。