ActionOPD：以动作级在线蒸馏智能体
AI 总结
一篇 arXiv 预印本提出 ActionOPD，一种面向语言模型智能体蒸馏的动作级在线蒸馏方法。该方法在学生会遇到的状态上，分别从学生和黑盒教师采样动作，并按学生动作与教师动作的语义一致程度给予奖励，从而在不需要教师 token 概率或共享分词器的前提下对齐决策行为。作者用两个教师模型训练 Qwen3-4B 与 Qwen3-8B，在四个分布外基准上平均提升 3.3 至 6.9 个百分点，并在 τ²-bench 上取得与离线蒸馏和 token 级 OPD 相当的表现；论文还探索了使用同模型教师加特权上下文的 Self-ActionOPD。
深度见解
它把智能体蒸馏的监督单位从 token 换成语义动作，为跨模型家族、跨分词器的教师-学生对齐提供了一条更实用的路径。