HICO-Bench:用可验证计划评测社交智能体
该论文提出 HICO-Bench,包含 180 个日常协作场景(如资源分配、排期、授权),两名各自掌握私有信息的智能体进行对话,然后分别独立记录双方商定的计划。程序校验「可行性」(两份记录一致且满足双方的私有条件),再由 LLM 评判「完整性」(对话内容支持所记录的计划),两者同时通过才计为 Verified Success。作者称在 13 个 LLM 上,36% 被评为目标完成度高的对话未能通过 Verified Success。论文同时提出 Paired-Credit Policy Optimization(PaCPO),在每一轮之后要求智能体给出临时计划,并在同一场景的两个版本中分别校验,作者报告该方法把 Qwen3-8B 的 Verified Success 从 20.4% 提升到 28.3%。
作者指出,现有的社交智能体评测主要依赖 LLM 评判员给对话打分,而不去核查对话最终产生的计划,这一基准试图用可程序验证的结果来补上这一环。
Computer Science > Computation and Language
arXiv:2610.20195 (cs)
[Submitted on 14 Oct 2026]
Title:What Makes a Social Agent's Interactions Effective? Learning from Verifiable Outcomes in Paired Worlds
Authors:Caixin Kang, Ke Wang, Yuchuan Wu, Xiaoqiang Wang, Ling Li, Bingxue Qiu, Yongbin Li, Yoichi Sato
View a PDF of the paper titled What Makes a Social Agent's Interactions Effective? Learning from Verifiable Outcomes in Paired Worlds, by Caixin Kang and 7 other authors