《自然》:AI智能体做研究仅得2/6和1/6分
一项发布在arXiv的预印本研究提出名为“影子评价”(shadow evaluation)的评测方法:让AI系统针对两篇投给NeurIPS的论文的研究问题自行做课题、写论文,再由论文原作者检验成果。该系统在改良版OpenClaw中“驾驭”Claude Opus 4.8,每篇论文有6天时间和3000美元算力额度;它能跑完数百次实验、不陷入死循环、还能发现自身幻觉且未出现奖励作弊,但在原作者处只得到2/6和1/6的总分。作者指出,系统会过早锁定某一种假说、方法失效时回溯不足、自我评审不够负面,且写作与格式混乱;共同作者、普林斯顿的Sayash Kapoor认为开放式研究的全自动化“还早着呢”,而AI Scientist联合创建者Cong Lu称这是有意思的数据点,但认为护栏设置不足。
该研究提出用原作者检验替代同行评审来评判AI生成的科研成果,其结果也对“AI可全自动完成开放式科研”的说法给出了反证。

一个智能体系统成功从两篇计算机论文中提取出了研究概念——但论文原作者不以为然。AI在研究自己方面已经取得重大突破,它们能让现有算法更智能,或是直接写出新的算法。但计算机还没法取代它的制造者,arXiv预印本服务器上发布的一项研究[1]指出。“我认为,开放式研究的全自动化还早着呢,”该预印本共同作者、美国普林斯......
本文来自微信公众号: 自然系列 ,作者:Nature Portfolio
一个智能体系统成功从两篇计算机论文中提取出了研究概念——但论文原作者不以为然。
AI在研究自己方面已经取得重大突破,它们能让现有算法更智能,或是直接写出新的算法。但计算机还没法取代它的制造者,arXiv预印本服务器上发布的一项研究[1]指出。
#Sakana AI#AI Scientist#Princeton University#Claude Opus 4.8#OpenClaw#NeurIPS#Recursive Superintelligence#arXiv