只改两个Token，基础模型数学推理追平强化学习版
AI 总结
MIT、加州大学伯克利分校、华盛顿大学与艾伦人工智能研究所（Ai2）研究者的论文《Base Models Can Reason By Taking a Cue From Training Data》发现，仅预先固定基础模型回答开头的两个Token，就能大幅提升其数学推理成绩。Olmo-3-7B在MATH-500上的准确率从不固定开头的约42%升至固定为“.\n\nOkay”后的约78%，超过其强化学习版本的约75%；Qwen3-14B固定“ Alright,”开头后从72%升至87%，与强化学习版本持平，全过程未改动模型参数。研究者还发现，强化学习前后模型预测分布差异最大的正是最开始两个Token，若把训练数据中与推理轨迹共现的“Okay”替换为“Chicken”并重训，该词也能起到推理线索作用。
深度见解
该研究提示基础模型的部分推理能力可能被“回答开头状态”掩盖，为不改参数、不重训地提升推理表现提供了一条低成本思路，但结论仍待更大范围模型与任务验证。