创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

SWE-sweep 发布:不提供线索测试自主查错

AI 总结

来自 Meta 超级智能实验室、哈佛大学、斯坦福等机构的研究者推出 SWE-sweep,该软件工程基准由 100 个真实开源仓库和 4,100 个历史漏洞构成。它不提供问题描述、报错信息或漏洞位置,只交付完整代码仓库,要求代码智能体自主发现并修复隐藏缺陷。据 DoNews 报道,修复成功须让对应隐藏测试由失败转为通过,同时保证仓库原有测试全部通过,首期榜单统一基于 mini-SWE-agent 运行。

深度见解

SWE-sweep 衡量代码智能体能否主动巡检代码库并挖掘潜在缺陷,区别于根据用户反馈被动修复问题。

(文/杨亮)10月23日消息,近日,来自 Meta 超级智能实验室、哈佛大学、斯坦福等机构的研究者推出全新软件工程评测基准 SWE-sweep,一改主流代码基准的评测范式:不再给 AI 提供问题描述、报错信息或漏洞位置,仅交付完整代码仓库,要求编码智能体自主探索、发现并修复潜藏 Bug。

过往 SWE-bench 等经典基准,任务形式大多是 “给定 Issue 问题描述 + 代码库,让 AI 根据反馈修复漏洞”,相当于提前告诉 AI“哪里出了问题、是什么问题”。而 SWE-sweep 瞄准更贴近真实运维的场景:代码库上线后,在用户上报问题之前,由 AI 主动巡检、挖掘隐性缺陷。

该基准数据集由 100 个真实开源仓库构建,包含合计 4100 个历史漏洞。研究团队筛选特定代码提交版本,让大量历史 Bug 在同一版本共存;同时严格把关样本,只保留 “仅凭阅读代码本身就能发现”的漏洞 —— 缺陷的预期行为可以从代码注释、类型标注、单元测试、函数契约等仓库内信息推导出来,排除需要外部上下文才能够定位的问题。

#SWE-sweep#mini-SWE-agent#Meta Super Intelligence Lab#Harvard University#Stanford University#OpenAI Astra 6#OpenAI Sol 5.6#Luna 5.6#Kimi K3#Claude Code#Codex

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。