TraceForge:用学生模型自身风格生成推理轨迹
AI 总结
2026 年 10 月 21 日提交的 arXiv 单作者预印本《TraceForge: Distilling with Your Own Thinking》(作者 Yan Wang)提出:以教师模型的上下文和答案为输入,按学生模型自身家族的风格生成推理轨迹,而不是通过重放加密推理块来还原隐藏推理——作者称后者违反服务商条款。训练分两阶段,先监督学习、后对抗训练,由生成器撰写轨迹、由评论器判断轨迹看起来有多真实。作者报告称,独立评审给生成轨迹的平均真实性打分为 0.68,真实轨迹为 0.66,从四个候选中由评论器选出的轨迹为 0.82;在相同的 5000 道题和相同教师答案下,最终检查点 HumanEval+ 提升 3.7 分、MBPP+ 提升 7.1 分。论文注明这些是真实性分数而非正确率,结果尚未经独立验证。
深度见解
该研究提出了一条不依赖重放加密推理块的蒸馏数据路径,作者认为重放加密推理块违反服务商条款。
Computer Science > Artificial Intelligence
arXiv:2610.29680 (cs)
[Submitted on 21 Oct 2026]
Title:TraceForge: Distilling with Your Own Thinking
Authors:Yan Wang
View a PDF of the paper titled TraceForge: Distilling with Your Own Thinking, by Yan Wang