Ask-to-Distill:为在线策略蒸馏优化合成问题
AI 总结
一篇新arXiv预印本(2610.27450,2026年10月20日提交)由Jiashuo Sun等12位作者提出Ask-to-Distill框架,将合成问题视为“分布激发器”,并沿学生模型生成的轨迹优化其引出的教师监督信号。该方法用一个由冻结的学生—教师模型对计算出的分布式替代指标来优化以学生初始化的提问合成器,无需参考答案、正确性奖励或对每个候选问题更新学生模型;奖励由教师—学生分歧、教师概率质量落在学生候选支持集上的部分,以及长度与多样性控制共同组成。作者报告,在数学推理、代码生成和智能体任务上,该方法相较未优化的学生生成提示和经KL过滤的真实问题提升了平均表现与教师差距恢复程度,并在所评估设置中达到或超过真实题库的在线策略蒸馏;论文称代码、数据和模型已公开。
深度见解
该论文提出在无标准答案的情况下评估合成训练问题的价值,把问题生成本身作为在线策略蒸馏数据的一个优化目标。
Computer Science > Artificial Intelligence
arXiv:2610.27450 (cs)
[Submitted on 20 Oct 2026]
Title:Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
Authors:Jiashuo Sun, Hao Zhang, Xueqiang Xu, Heng Wang, Yixuan Xie, Pengcheng Jiang, Zhenrui Yue, Jiajun Fan, Peiran Li, Ge Liu, Shaowen Wang, Jiawei Han
View a PDF of the paper titled Ask to Distill: Learning to Synthesize Data for On-Policy Distillation, by Jiashuo Sun and 11 other authors