研究追溯推理模型中“wait”标记的来源
AI 总结
Kou 等九位作者在一篇审稿中的论文提出，强化学习并不一定会教会推理模型在重新审视步骤前写入“wait”。在所分析的开放模型中，该标记往往出现在中训练或推理轨迹微调阶段；当基础模型不含该词时，强化学习大幅提高 MATH-500 准确率，标记却仍几乎不存在。作者同时报告，一些强化学习配方会放大基础模型中已有的标记，因此其影响因配方而异。论文还指出，标记频率本身不能说明推理由强化学习促成，LLM 评判器的修订指标甚至可能与人工标注趋势相反。
深度见解
这项研究质疑了将“wait”标记直接归因于强化学习的常见解释，并警告不应把标记频率或自动修订指标当作强化学习促成某种推理行为的可靠证据。
Computer Science > Machine Learning
arXiv:2610.30882 (cs)
[Submitted on 22 Oct 2026]
Title:Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models
Authors:Zhizhuo Kou, Sizai Hou, Long Chen, Jian Yang, Junyu Luo, Jingshu Peng, Wenkai Zhang, Sirui Han, Yike Guo
View a PDF of the paper titled Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models, by Zhizhuo Kou and 8 other authors