PaperBenchX:论文复现最高通过率仅 14%
AI 总结
UniPat AI 推出基准 PaperBenchX,让 10 种前沿 Agent 配置在真实科研软件中重做已发表论文的关键实验,共 93 道题、覆盖 12 个科研方向。据该团队公布的结果,70 道题没有任何配置做到“完全复现”;表现最好的 GPT-6 Astra 完全复现率仅 14%(13 道题),国产模型整体约 7%,约为其一半。评分把建模、执行和科学验证分开,共 3168 条可评分标准,单任务时间预算 4–24 小时,并会在隔离环境中删掉旧结果重跑后评分。
深度见解
可复现性是 AI 承担自主科研任务的前提,该评测把“AI 能否可靠复现已有研究”变成可逐项检验的问题。