Waypoint-OPD：以中间检查点门控策略漂移蒸馏
AI 总结
一篇arXiv论文提出Waypoint-OPD，一种新的“策略漂移蒸馏”方法。该方法认为，仅用教师模型在强化学习前后对数概率的端点差异作为监督信号，无法反映局部动作偏好在训练过程中是否始终一致；同一端点差异可能来自相互强化或部分抵消的早期与晚期漂移。Waypoint-OPD因此引入该RL训练过程中的一个中间教师检查点，在学生模型访问过的前缀上比较早期与晚期漂移在相对动作偏好上的方向是否一致，仅当两者方向一致时才保留端点漂移，方向相反时则抑制它，相比仅用端点漂移只多出一次冻结教师打分。作者用RL训练过的Qwen3-4B作教师，以Qwen3-8B、Qwen3-14B与Qwen3-30B-A3B作学生，在数学与代码推理任务上测试：在全部六个“领域—学生”组合中，Waypoint-OPD在对比的蒸馏方法里取得最高领域平均分；对Qwen3-8B的消融实验显示，移除或打乱门控会降低数学推理表现。
深度见解
它为“如何更可靠地把强化学习带来的能力迁移到小模型”提供了一个只增加少量计算成本的思路，但效果目前仅在一篇未经同行评审的论文、且限定于Qwen3系列与数学/代码任务中得到验证。