Scientist World发布1000个可执行AI科研环境
普林斯顿大学团队提出Scientist World,将研究论文转换为可执行环境,让AI Scientist提出方法、运行实验,并与原论文的复现结果比较。据论文描述,首批包含1000个由独立智能体验证的环境,并保存跨模型、推理档位及两种研究模式累计约6400小时的研究轨迹。轨迹包括研究想法、修改过程、实验日志、分数和完整开发历史。团队还使用这些轨迹训练Qwen3-8B,以实际执行实验所得分数作为训练奖励,并在10个留出的论文环境中使用固定的GPT-5.6-Sol xhigh执行器评估所提出的想法。
同一套环境被用于三项任务:评估AI Scientist能否推进研究、保存研究过程以形成训练数据,以及提供具有可量化实验奖励的训练场。这使Scientist World同时关系到AI科研能力评估和模型训练研究。不过,报告中的结果并未证明该系统消除了数据污染,也未表明模型具备通用且可独立执行全部研究流程的能力。
AI Scientist 已经能够阅读科研文献,但要在已有研究的基础上继续探索,仅仅读懂论文还不够。人类科学家可以从论文中提炼问题、借鉴方法,再搭建实验检验新的想法,AI Scientist 同样需要能够实际运行实验、验证想法的研究环境。
这样的环境既要保留论文中的研究问题,也要提供可运行的方法和衡量改进的标准。然而,现有研究环境往往依赖人工挑选的任务、过去的竞赛题目或固定的模拟世界,难以同时做到大规模扩展、持续更新,并通过实际运行的计算实验检验研究成果。
为此,普林斯顿大学团队提出了 Scientist World,将研究论文转化为可执行的环境,让 AI Scientist 能在其中提出新方法、开展实验,再将实验结果与原论文的复现结果进行比较,衡量自身取得了多少改进。
#Princeton University#Scientist World#AI Scientist#Qwen3-8B#GPT-5.6-Sol xhigh#Frontier-Normalized Improvement