AutoSFT:多智能体自动完成SFT数据研究
arXiv 新论文提出 AutoSFT,一个用于监督微调(SFT)数据研究的多智能体系统。作者指出,单个智能体在完整训练栈上往往只会调整各类数据的比例,且上下文会被执行输出占满并中途丢弃;AutoSFT 由一个元智能体把执行与分析分离,从不同角度收集修改建议,并在数据池无法覆盖时调用合成子智能体。作者报告称,执行器使上下文丢失减半,分析子智能体让最佳 IFEval 提升 6.5 分,合成再带来 3.4 分 IFEval 与 2.9 分 IFBench 提升;同一循环迁移到代码任务时,分析带来 3.7 分 MBPP+ 提升。所有结果均来自每轮从基座模型重新训练的对比实验。
论文结论认为,自动化 SFT 数据研究更依赖于覆盖多样化的数据操作,而非把单一操作做得更强。
Computer Science > Artificial Intelligence
arXiv:2610.22194 (cs)
[Submitted on 15 Oct 2026]
Title:AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
Authors:Bingxiang He, Pengqi Sun, Shihao Peng, Shaoxuan Li, Huiyu Xiao, Hongjian Shi, Zixuan Fu, Ziqing Qiao, Yuxin Zuo, Cheng Qian, Xinqiang Yu, Jiayi Li, Xiusi Chen, Yizhen Song, Xiangyang Wang, Iofai Lei, Yudong Wang, Ning Ding, Zhiyuan Liu, Xiaozhi Wang, Chaojun Xiao
View a PDF of the paper titled AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning, by Bingxiang He and 20 other authors