创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

PaperBenchX:论文复现最高通过率仅 14%

AI 总结

UniPat AI 推出基准 PaperBenchX,让 10 种前沿 Agent 配置在真实科研软件中重做已发表论文的关键实验,共 93 道题、覆盖 12 个科研方向。据该团队公布的结果,70 道题没有任何配置做到“完全复现”;表现最好的 GPT-6 Astra 完全复现率仅 14%(13 道题),国产模型整体约 7%,约为其一半。评分把建模、执行和科学验证分开,共 3168 条可评分标准,单任务时间预算 4–24 小时,并会在隔离环境中删掉旧结果重跑后评分。

深度见解

可复现性是 AI 承担自主科研任务的前提,该评测把“AI 能否可靠复现已有研究”变成可逐项检验的问题。

UniPat AIPaperBenchXGPT-6 Astra

原文约 13 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。