前沿模型在合成科研测试中接近满分
AI 总结
一名从事石墨烯和二维材料研究的研究者设计了一套七部分、满分100分的合成材料科学研究测试,涵盖数据清洗、物理计算、论文审查、实验设计和受限写作。Gemini 4 Carbon、Gemini 4 Hydrogen、Claude Opus 5.5和Claude Fable 5.2各运行三次,平均分为98.5至100.0,单次成绩介于97.8至100,每次耗时7至24分钟。 r/MachineLearning帖子指出,测试设计过程中使用了Claude Opus 5.5的帮助,并由一名评审使用合成数据评分。作者认为,接近满分的成绩说明有明确流程的有界任务已趋于饱和,接下来将构建持续两至六小时的模拟实验室评估。
深度见解
该实验表明前沿模型能以接近满分的成绩完成流程明确的研究工作,同时留下如何评估长期、开放式智能体任务的课题。