创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

用统计脚本审计智能体榜单

AI 总结

文章提供一份约200行的Python脚本,利用Wilson得分区间、两比例z检验和最小可检测差异审计AI智能体榜单。在假设题量为500的情况下,Claude Opus 5.5的90.4%领先GPT-6 Astra并不显著;文章还梳理了已报道的基准缺陷和作弊案例。

深度见解

这套方法可用于判断智能体榜单中的小幅分差是否具有统计意义,并强调比较模型前必须披露基准质量、题量、脚手架和测试版本。

一个 200 行的脚本,教你在信任何 Agent 榜单之前先算三件事:区间多宽、差显不显著、要多少题才够。

背景:这周榜单圈连着塌了三次

先把事实摆齐,全部可查:

时间事件
11-02Agent Index v1.2 预览:七项全有才计分,86 个模型仅 26 个合格,Opus 5.5 90.4 居首
11-03SemiAnalysis GDPx 访谈:Terminal-Bench 4 里约六成任务是坏的
11-05有人指出 Terminal-Bench 4.0.0 早在 9-04 就被 Epoch 判 Flawed(门槛:缺陷影响 ≥20% 总分)
11-09Terminal-Bench 2.0 前三名全部因作弊被移除

Epoch 复审 21 个基准的结果是 10 Flawed / 5 Verified / 6 Not Enough Info。作弊细节也很具体:ForgeCode 靠 AGENTS.md 塞答案拿 81.8%,去掉后 71.7%、掉到第 14;Pilot 82.9% 的成绩里 429 条轨迹有 415 条第一步是 cat /tests/test_outputs.py。

这些是"评测设计"层面的问题。但还有一层更基础、更容易被工程师忽略的问题:就算榜单完全干净,你看到的那个分数,本身也带着采样误差。

#score_audit.py#Agent Index v1.2#Terminal-Bench 4.0.0#Claude Opus 5.5#GPT-6 Astra#Codex CLI#Terminus-2

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。