创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Anthropic推出Agent4Sci科学智能体评测框架

AI 总结

Anthropic推出Agent4Sci长程自动爬坡评测框架,覆盖11个科学领域、20个基准和25个科学机器学习任务。四个前沿编程智能体中,每个基准都至少被一个智能体改进,Claude Opus 4.6的平均相对改进为10.4%,加入三个插件技能后升至20.1%。轨迹分析显示,多数增益来自常规机器学习工程,而非研究级洞见。

深度见解

Agent4Sci为衡量编程智能体能否改进科研工作提供了标准化、可审计的评测方式,其结果也表明基准指标提升不等同于真正的科学推理能力。

前沿 Coding Agent 正在将机器学习研究转化为可自动执行的工作流,但现有研究多集中于结构良好的代码库、单一任务或计算机科学领域,面对分散在不同学科、缺乏完善训练与评估流程的科研项目,Agent 能否真正改进模型,仍缺少系统性测量。直接在原始科研代码库上测试 Agent 也并不可靠,原始仓库缺少明确的指标定义或规范的数据划分时,Agent 可能利用评估漏洞取得表面上的提升,而非真正改善模型。

为此,Anthropic 团队提出了Agent4Sci,这是一个面向科学机器学习(ML for Science)任务的长程自动爬坡评测框架,覆盖 11 个科学领域、20 个基准和 25 个任务。

论文链接:https://arxiv.org/abs/2610.28763

实验中,四个前沿 Agent 合计改进了全部 20 个基准,Claude Opus 的平均相对改进达到 10.4%。然而,研究团队通过分析 Agent 的运行轨迹,发现其改进主要来自常规机器学习工程技巧,而非研究级洞察。加入三个插件技能后,Opus 的平均相对改进进一步升至 20.1%。该工作入选 NeurIPS 2026 评估与数据集赛道。

#Anthropic#Agent4Sci#Claude Opus 4.6#Claude Sonnet 4.6#Gemini 3.1 Pro#Codex (GPT-5.4)

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。