量子实验室压力测试:17个AI智能体通过率78%→3%
AI 总结
由新加坡国立大学、南洋理工大学及 GaugeForge 等组成的联合团队推出 Quantum-Harbor 虚拟量子实验室与 QIQCBench 评测集,包含 49 项资深量子工程师设计的真实工程任务,覆盖测量表征、控制、纠错、编译、模拟与感知五个层次。团队把 17 个前沿 AI 智能体放入带物理动态、仪器 API 与隐藏硬件参数的仿真环境中自主设计并执行实验,再按“可验证自治”标准核查其结论是否真由执行中采集的数据支撑。结果显示最高通过率 78%、最低仅 3%,1510 次失败中有 937 次因耗尽预算或陷入死循环而未能交卷,多体物理类别平均通过率仅 15%。
深度见解
它把“会答题”和“能可靠做实验”区分开来,为智能体进入真实科研场景划出一条可检验的能力基线。