在策略蒸馏可能无法保留泛化能力
AI 总结
Wang等七位作者在一篇预印本中扩展了在策略蒸馏，提出多教师方法，用于整合多个教师模型的能力。作者使用Qwen3模型在数学推理、编程、智能体和长上下文任务上进行评估，并报告强劲的分布内成绩可能掩盖训练分布之外的表现失败：外推得分比基础模型低2.45%至16.25%，组合任务得分比最佳教师低18.19%至24.34%。作者提出基于几何的修补和保留基础能力的回放方法，以改善分布外表现并尽量保持分布内性能。
深度见解
这篇论文指出了能力整合中的一个盲区：强劲的分布内蒸馏表现，并不意味着模型能够在受监督分布之外保留或迁移教师能力。
Computer Science > Machine Learning
arXiv:2611.05609 (cs)
[Submitted on 3 Nov 2026]
Title:On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
Authors:Yichen Wang, Yufa Zhou, Siqi Zhu, Haozheng Luo, Jingzhi Bao, Zhichao Liu, Zijun Wei
View a PDF of the paper titled On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation, by Yichen Wang and 6 other authors
#Multi-teacher on-policy distillation#On-policy distillation#Qwen3#Geometry-based patching#Base-preserving replay