CrossSWE评测跨仓库编程智能体开发
AI 总结
研究人员推出CrossSWE基准,包含171个真实场景,覆盖165个代码仓库、20个技术领域和13种编程语言。测试重点考察依赖推理、变更传播、接口一致性,以及局部仓库修改是否足以完成任务。在作者对五种大模型的评测中,表现最强的GPT-6.1 Sol取得58.48%的Pass@1,跨仓库不一致则以44.2%成为最常见失败模式。
深度见解
CrossSWE为编程智能体开发者提供了评估跨相互依赖仓库协同改动的具体基准,其评测结果也显示当前模型在保持接口一致性方面仍面临困难。
Computer Science > Software Engineering
arXiv:2611.01484 (cs)
[Submitted on 1 Nov 2026]
Title:CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents
Authors:Silin Chen, Yuling Shi, Heng Lian, Zihan Zhang, Xiaodong Gu, Haotian Lin, Zhensu Sun
View a PDF of the paper titled CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents, by Silin Chen and 6 other authors