LoLBench评测大型系统功能交付
AI 总结
LoLBench论文提出一项基准，用于评测编程智能体能否把社区功能提案转化为大型、持续演进代码库中的跨模块实现。其100项任务覆盖29个系统、8种语言和5个领域，代码库平均约240万行。论文报告称，28个模型与脚手架组合中的最佳解决率为14%，全部组合的中位数仅为2%。
深度见解
该基准将编程智能体评测从孤立修复或代码生成推进到端到端功能交付，揭示了智能体在仓库理解和协同实现上的不足。
新智元 2026-11-04 18:03 北京
新智元报道
如今Agent已经能熟练调用工具、修改文件、运行测试，但面对一个长期演进的大型软件系统，它能否从一份新需求出发，交付完整功能？
产品经理提出新需求，开发者拿到的往往不是文件清单或函数签名。需要先理解约束，追踪模块依赖，再判断改哪里、怎么改、怎样证明改对了。这些分析影响后续交付。
复旦大学、香港城市大学、香港中文大学等机构提出LoLBench，把Agent放进平均约240万行源代码的软件系统，评估从功能提案到模块交付的完整过程，检验把需求落到系统中的感知能力，以及完成跨模块修改的实现能力。
#LoLBench#Claude Opus 5#Claude Code#mini-SWE-agent#GPT-5.6 Sol#Codex#DeepSeek V4 Flash#OpenCode#Fudan University#City University of Hong Kong#Chinese University of Hong Kong