JevAgentHarness:小决策模型分担智能体工具选择
一篇发表于2026年10月15日的arXiv论文(作者Kunlun Zhu等)提出JevAgentHarness:把大模型智能体每一步的“多选题”式决策——例如下一步调用哪个工具——交给Jev这类决策模型处理,并在拟合出的置信阈值以下才回退给大模型做决定。作者构建了AgentDecisionBench,报告称在孤立问题上准确率最高的决策模型仅完成69.5%的智能体任务,而在未拟合置信阈值的情况下直接委派工具选择会让成功率下降19.0个百分点。作者还用Jev的答案作为标签,在智能体自身犯错后到达的状态上训练了开放4B决策模型AgentDecision-4B;据其报告,在与训练数据不同的任务上,使用AgentDecision-4B的智能体解决率为91.5%,使用Jev为82.0%;在与训练数据相似的任务上,此类4B模型使智能体成本降低81.1%–89.0%、速度最高提升2.5倍,且任务成功率下降未达3个百分点。模型、数据与该harness均表示将会发布。
按作者说法,harness的调用大多终结于一次多选题决策;在其同分布测试中,把这类选择交给更小的决策模型使智能体成本下降81.1%–89.0%、运行最高快2.5倍,说明每一步的调用开销是智能体设计可优化的环节。
Computer Science > Artificial Intelligence
arXiv:2610.21412 (cs)
[Submitted on 15 Oct 2026]
Title:JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
Authors:Kunlun Zhu, Tao Feng, Xu Han, Heng Wang, Ling Yang, Xiangru Tang, Jiaxuan You, Heng Ji
View a PDF of the paper titled JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs, by Kunlun Zhu and 7 other authors
#JevAgentHarness#AgentDecisionBench#AgentDecision-4B#Jev#DecisionGym