SWE-CoWork在模拟软件组织中评测编码智能体
一篇arXiv论文提出SWE-CoWork基准,包含来自101个真实代码仓库的101项开发任务,覆盖11种编程语言和12个应用领域。每项任务都会让编码智能体进入一个由26名同事组成的模拟工程组织,测试其恢复需求、协调冲突信息、协作、实现变更并通过私有可执行测试进行验证的能力。论文报告称,在接受评估的11个模型中,领先的两个系统通过约63%的失败转通过测试,但完整完成的任务不足8%。这些结果来自论文本身,尚未在此得到独立验证。
该基准将涵盖澄清、实现、验证和交付的持续需求跟踪列为可靠自主软件工程的一项关键挑战。论文报告的结果也显示,通过单项测试与完整交付任务之间存在显著差距。
Computer Science > Software Engineering
arXiv:2611.20218 (cs)
[Submitted on 15 Nov 2026]
Title:SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations
Authors:Xinping Lei, Minghao Liu, Ruijie Zhu, Xiaohui Hu, Xingqiao Li, Ao Zhang, Wenhao Chai, Han Li, Tao Wang, Jingyuan Zhang, Enduo Zhao, Yunfeng Shi, Yiming Liang, Zetao Yang, Xingjian Wang, Yifan Yao, Xinkai Ma, Yingru Li, Tianhan Yang, Huan Zhou, Weiran Shi, Shen Yan, Jiaheng Liu, Stephen Huang, Eli Cheung, Weihao Xuan
View a PDF of the paper titled SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations, by Xinping Lei and 25 other authors