创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

SWE-Pair发布同时修复两个错误的编码代理基准

AI 总结

SWE-Pair基准作者称,该基准包含161个任务,取自69个Python项目,每个任务都要求编码智能体同时修复两个真实错误。在其公布的结果中,DeepSeek V4.1 Flash以中等推理强度解决了90%的任务,每个已解决任务成本约6美分;GPT-6 Luna以最大强度解决78%,成本约23美分。DeepSeek以最大强度得分88%,成本却是中等强度配置的1.7倍。这些数字来自作者发布在单一社交媒体帖子中的说明,供应的材料未对其进行独立核实。

深度见解

该基准为编码智能体提供了成本与性能对照,其双错误任务可用于考察智能体能否在单个任务中同时处理两个真实修复。

We built a benchmark of 161 tasks from 69 Python projects where the agent has to fix two real bugs at once. The cheapest setup came out on top. DeepSeek V4.1 Flash at medium effort solved 90% of tasks, at about 6 cents per solved task. GPT-6 Luna at max effort solved 78%, at about 23 cents. More reasoning didn't help either. DeepSeek at max effort scored 88%, slightly below medium, and cost 1.7x more. https://preview.redd.it/8ksnyprzst0i1.png?width=1200&format=png&auto=webp&s=e05f88446be40b85ceddf9bf2e9796e57efc9314 Results and every agent run: https://labs.evaligo.com/swe-pair Tasks: https://huggingface.co/datasets/evaligo/swe-pair To run your own agent on it, it's one Harbor command: harbor run -d evaligo/swe-pair -a <agent> -m <provider/model> submitted by /u/heyitsdannyle [link] [comments]

#SWE-Pair#DeepSeek V4.1 Flash#GPT-6 Luna#Harbor#Evaligo

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。