研究发现在线策略自蒸馏存在偏置
AI 总结
一份研究更新认为,在线策略自蒸馏(OPSD)可能让模型偏向教师偏好的续写内容,包括“等等”“也许”等犹豫类词元,却不一定提高其解决任务的能力。对200道4至5级MATH-500题目共800次滚动的逐词元分析显示,师生分歧系统性地集中在措辞,而非数学正确性。作者据此认为OPSD并非持续学习的“银弹”,并质疑是否值得继续投入研究,同时承认它在某些场景中可能仍然有用。
深度见解
逐词元分析质疑了OPSD中的密集教师信号能够可靠反映推理改进这一假设,因为观察到的许多信号涉及风格差异,而非数学正确性。
Foundations
The bias of on-policy self-distillation
Why on-policy self-distillation is not the silver bullet for continual learning.
Authors
Date
November 6, 2026