斯坦福研究揭示Terminal-Bench缺陷会改变智能体评分
AI 总结
据掘金报道,斯坦福团队对Terminal-Bench 2.0全部89项任务的审计确认28项需要修复,其中14项为新发现,修复随后随Terminal-Bench 2.1发布。19个智能体在修复后重测的总体准确率上升逾10个百分点,部分智能体排名移动3位。研究还发现,默认时间预算下超过一半的失败试验是超时,延长时间预算后两个评测框架之间约20个百分点的差距几乎消失。
深度见解
这些结果表明,即使智能体性能的大致排序保持稳定,基准版本、评测框架和时间预算仍可能显著改变具体分数与近似模型的比较结果。
TL;DR:斯坦福 Ré 组的最新工作把「基准测试会像软件一样腐烂」变成了一个可测量、可维护的工程问题——他们提出基准维护债务概念,用「智能体审计 + 人工把关」的持续验证流程给 Terminal-Bench 2.0 做体检,结果约 30% 的任务带缺陷;修复版 2.1 让 19 个智能体的整体准确率上涨超 10 个百分点,个别模型榜位移动 3 名。更扎心的是:一半以上的失败试验其实是超时,把时间预算拉长后,20 个百分点的 harness 差距几乎消失。
先问一个可能戳到你的问题:你上个月盯着的那个 Agent 榜单,今天还准吗?
做 agent 的朋友对这套流程太熟了:新模型发布 → 官网贴出 SWE-Bench / Terminal-Bench 分数 → 你默默把自己的 agent 和它对齐 → 榜单成为 roadmap。但很少有人想过:那个基准本身,可能已经悄悄烂掉了。发布时千锤百炼的任务,几个月后可能因为依赖的包升级了、API 改版了、网页下线了而跑不起来;更隐蔽的是,模型变聪明之后会找到基准设计者当年没想到的合法解法——然后被一个过时的验证器判负。