CriticOPD：用批评引导在策略蒸馏提升推理
AI 总结
arXiv 上的一篇论文提出 CriticOPD，用于改进在策略蒸馏（OPD）。作者指出 OPD 依赖教师的“可恢复性”——即教师能从学生写出的任何前缀出发得到正确答案，但这一性质在错误轨迹上会失效：教师虽然能识别错误，却会跟随学生的错误继续推理。CriticOPD 让教师先对错误轨迹给出批评，学生据此重写解答，教师对包含批评（作为特权信息）的输出打分，而学生训练时只使用不含批评的修订结果。在两个 Qwen3 学生模型和六个数学推理基准上，CriticOPD 相比 OPD 均有提升，在竞赛题上增益最大。
深度见解
它提供了一种把教师模型的错误识别能力转化为可靠训练信号的具体做法，对关注蒸馏与弱到强监督的研究者有用。