创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

谷歌提出可自我改进的智能体 Harness

AI 总结

谷歌研究人员提出一种 Harness,允许优化模型修改 AI 智能体周围的运行代码,并仅保留通过验证的改动。在未参与优化的 40 道 SWE-bench Lite 任务中,模块化方案使用 Gemini 3.8 Flash 将任务成功率从 5.0% 提升至 40.0%;不受限制的整体重写达到 42.5%,但消耗的 Token 更多。报道还称,仅修改提示词使成功率降至 2.5%,而模块化方案未经重新优化迁移至 Gemini 4 Argon 后成功率为 37.5%,整体重写方案为 30.0%。

深度见解

这项研究为通过代码级验证优化 AI 智能体运行框架提供了替代提示词调优的思路。报告结果显示,自动修改代码并加以验证能够显著影响软件工程任务表现,但评测仅涵盖 40 道任务和特定模型,限制了结论的适用范围。

IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。

在一项 SWE-bench Lite 测试中,采用模块化优化方案的智能体任务成功率从 5.0% 提升至 40.0%,达到原来的 8 倍,平均每项任务消耗约 4.67 万 Token。

其研究重点是 AI 智能体的 Harness。它并非底层 AI 模型本身,而是围绕模型构建的运行框架,负责管理上下文和记忆、控制多轮任务执行、调用外部工具,以及在任务结束前验证执行结果。

研究人员指出,不同模型在工具使用方式和任务执行过程中表现出的弱点可能存在明显差异。因此,为某个模型优化的 Harness,迁移到其他模型后可能出现任务停滞、Token 消耗过高或执行效果下降等问题。

#Google#Harness#Gemini 3.8 Flash#Gemini 4 Argon#SWE-bench Lite

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。