Doc2Harness:评测编码智能体脚手架工程
AI 总结
Yuyao Ge 等作者在 arXiv 发布 Doc2Harness,一个分两阶段评测编码智能体长程“脚手架工程”能力的基准。第一阶段由构建模型在固定构建脚手架内,依据仅含接口的契约骨架和汇总十二种前沿脚手架行为的开发文档,在隔离容器中搭建候选脚手架;第二阶段用脚本化模拟模型在独立容器中端到端驱动冻结的候选脚手架,并从模型请求、磁盘文件、进程退出码和命令输出四个通道评分。作者称在 19 个前沿模型、每个三次独立构建、328 个测试用例上,GPT-6 Astra 通过率最高,为 53.05%,最弱模型为 27.44%,差距约 26 个百分点,且最强模型仍失败近半用例。
深度见解
作者指出,智能体表现既取决于模型,也取决于模型外围的脚手架,而既有基准在固定脚手架下测任务成功率,未考察脚手架工程本身;他们称 Doc2Harness 是首个确定性衡量长程脚手架工程的基准。
Computer Science > Software Engineering
arXiv:2610.20344 (cs)
[Submitted on 14 Oct 2026]
Title:Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
Authors:Yuyao Ge, Shenghua Liu, Peizhong Gao, Chendi Ge, Chenxu Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Jiayu Yao, Jiafeng Guo, Xueqi Cheng
View a PDF of the paper titled Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents, by Yuyao Ge and 10 other authors