创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

SWE-CoWork在模拟软件组织中评测编码智能体

AI 总结

一篇arXiv论文提出SWE-CoWork基准,包含来自101个真实代码仓库的101项开发任务,覆盖11种编程语言和12个应用领域。每项任务都会让编码智能体进入一个由26名同事组成的模拟工程组织,测试其恢复需求、协调冲突信息、协作、实现变更并通过私有可执行测试进行验证的能力。论文报告称,在接受评估的11个模型中,领先的两个系统通过约63%的失败转通过测试,但完整完成的任务不足8%。这些结果来自论文本身,尚未在此得到独立验证。

深度见解

该基准将涵盖澄清、实现、验证和交付的持续需求跟踪列为可靠自主软件工程的一项关键挑战。论文报告的结果也显示,通过单项测试与完整交付任务之间存在显著差距。

Computer Science > Software Engineering

arXiv:2611.20218 (cs)

[Submitted on 15 Nov 2026]

Title:SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations

Authors:Xinping Lei, Minghao Liu, Ruijie Zhu, Xiaohui Hu, Xingqiao Li, Ao Zhang, Wenhao Chai, Han Li, Tao Wang, Jingyuan Zhang, Enduo Zhao, Yunfeng Shi, Yiming Liang, Zetao Yang, Xingjian Wang, Yifan Yao, Xinkai Ma, Yingru Li, Tianhan Yang, Huan Zhou, Weiran Shi, Shen Yan, Jiaheng Liu, Stephen Huang, Eli Cheung, Weihao Xuan

View a PDF of the paper titled SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations, by Xinping Lei and 25 other authors

#SWE-CoWork#Seed Evolving#GPT-6 Astra#Claude-Opus-5.5

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。