创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

HICO-Bench:用可验证计划评测社交智能体

AI 总结

该论文提出 HICO-Bench,包含 180 个日常协作场景(如资源分配、排期、授权),两名各自掌握私有信息的智能体进行对话,然后分别独立记录双方商定的计划。程序校验「可行性」(两份记录一致且满足双方的私有条件),再由 LLM 评判「完整性」(对话内容支持所记录的计划),两者同时通过才计为 Verified Success。作者称在 13 个 LLM 上,36% 被评为目标完成度高的对话未能通过 Verified Success。论文同时提出 Paired-Credit Policy Optimization(PaCPO),在每一轮之后要求智能体给出临时计划,并在同一场景的两个版本中分别校验,作者报告该方法把 Qwen3-8B 的 Verified Success 从 20.4% 提升到 28.3%。

深度见解

作者指出,现有的社交智能体评测主要依赖 LLM 评判员给对话打分,而不去核查对话最终产生的计划,这一基准试图用可程序验证的结果来补上这一环。

Computer Science > Computation and Language

arXiv:2610.20195 (cs)

[Submitted on 14 Oct 2026]

Title:What Makes a Social Agent's Interactions Effective? Learning from Verifiable Outcomes in Paired Worlds

Authors:Caixin Kang, Ke Wang, Yuchuan Wu, Xiaoqiang Wang, Ling Li, Bingxue Qiu, Yongbin Li, Yoichi Sato

View a PDF of the paper titled What Makes a Social Agent's Interactions Effective? Learning from Verifiable Outcomes in Paired Worlds, by Caixin Kang and 7 other authors

#HICO-Bench#PaCPO#Qwen3-8B

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。