创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Artificial Anlys称工具使用使VIALS-AA得分接近翻倍

AI 总结

Artificial Anlys 报告称,跨模型使用工具后,VIALS-AA 平均得分从约 25% 升至 47%。Claude Fable 5.2 配备工具以 67% 领先,每任务成本 4.20 美元;不使用工具时得分降至 44%,每任务成本为 0.73 美元。Claude Haiku 5.5 配备工具取得 49%,每任务成本为 0.07 美元。VIALS-AA 是 Artificial Anlys 对 JoinHandshake AI 生命科学研究视觉推理基准 VIALS 的实现。

深度见解

报告称,在视觉推理和科学图物解读任务中,智能体框架中的低成本模型可能在成本和表现两方面优于单次调用的大型模型。在此次测试中,配备工具的 Haiku 5.5 得分高于未配备工具的 Fable 5.2,而每任务成本约为后者十分之一。

Take away its tools, and Claude Fable 5.2 scores below Claude Haiku 5.5 with tools on VIALS-AA; across models tool use nearly doubles scores, from ~25% to ~47% on average

VIALS-AA is our implementation of @joinHandshakeAI's VIALS benchmark for visual reasoning in life sciences research. By default, models work as agents: they think, run code and view images in a sandbox. We reran VIALS-AA in a one-shot format: one request with the question and images, and no tools.

Lower cost models in an agent harness can beat single-shot large models on both cost and performance in visual reasoning and interpretation of scientific artifacts.

Claude Fable 5.2 (max) leads VIALS-AA at 67% with tools, at a cost of $4.20 per task; without tools it scores 44% at $0.73 per task. Claude Haiku 5.5 (max) scores 49% with tools, at $0.07 per task: higher than Fable without tools, at about a tenth of the cost.

#Claude Fable 5.2#Claude Haiku 5.5#Anthropic#VIALS-AA#VIALS#JoinHandshake AI

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。