Google Research 发布 Harness² 智能体执行外壳优化框架
Google Research 开源了 Harness²,该框架允许 AI 智能体在不更换或训练底层模型的情况下优化自身执行外壳。供应的报告援引 Harness² 论文数据称,在 OpenCode 环境中重组系统提示词、技能、脚本和子代理后,GLM-5 的 WorkBuddy-Bench 得分从 64.2 升至 75.7,Gemini 3.5 Flash 的 JobBench 得分从 31.5 升至 36.0。框架采用“提出—探测—组合”流程:分别起草工作流和领域候选,在相同任务上重新运行并比较行为,再选择性合并候选或保留当前外壳。第二层机制会复盘已采纳的改动,将有执行证据支持的经验存入改进库,并在后续任务中复用。报告指出,行为对比可以发现流程差异和回归,但不能可靠证明任务答案正确;改进也可能高度依赖具体任务,在其他环境中验证会产生额外成本。
在模型权重不变的情况下,提示词、技能、脚本和子代理组织方式仍对智能体表现产生了显著影响,相关基准成绩也据此上升。Harness² 还提供了比较候选外壳并保留执行证据的明确方法,但相关收益仍需针对具体部署重新验证,也不能据此判断内容正确性。
同一套权重、同一个 OpenCode,只因为把 system prompt、技能、脚本、子代理重新组织了一遍,GLM-5 在 WorkBuddy-Bench 上从 64.2 涨到 75.7。Google Research 开源的 Harness² 想回答一个问题:模型之外的那层"壳",到底值多少分?
一、先说结论
Harness² 干的事情,一句话:不训练模型,也不换模型,只让 agent 自己改自己的 harness(执行外壳),并且把每次改进的经验沉淀下来,让下一个任务受益。
三个关键数字,来自论文(arXiv 2610.14224):
| 场景 | 变化 |
|---|---|
| GLM-5 · OpenCode · WorkBuddy-Bench 均分 | 64.2 → 75.7(+11.5) |
| GLM-5 · OpenCode · LAB 部分通过率 | 59.6% → 71.4%(+11.8pp) |
| Gemini 3.5 Flash · OpenCode · JobBench | 31.5 → 36.0(+4.5) |
#Google Research#Harness²#OpenCode#GLM-5#WorkBuddy-Bench#Gemini 3.5 Flash#JobBench