研究发现:多智能体团队或因责任分散失守
哈佛大学与Anthropic研究人员发现,在大多数测试中,智能体团队的安全目标表现逊于已对齐的单个智能体,主要原因是系统级安全责任分散在各项任务边界之间。研究覆盖12项任务和5个前沿模型,指定一名智能体负责整体安全并提供共享安全规范,最能可靠恢复单个智能体的行为。研究团队还发布了magelab,可通过单个YAML文件配置自主多智能体实验。
该研究说明单个智能体经过对齐并不代表其加入团队后仍能保持安全行为,同时为多智能体系统的安全责任设计提供了具体方案。
单个 agent 经过对齐训练,能够表现得诚实、拒绝有害请求等,组成团队后却可能“集体失守”。在软件工程和咨询方案生成中,agent 团队往往减少对系统安全的主动检查,甚至因问题超出职责而对有害结果“袖手旁观”。
在这项工作中,来自哈佛大学和 Anthropic 等机构的研究团队考察了这种差异。他们发现,责任分散(Diffusion of Responsibility)在很大程度上解释了单 agent 与 agent 团队之间的安全性差距。同时,他们发现,指定一名负责系统整体安全的 agent,并配合共享的安全规范文档,是最能可靠恢复单 agent 行为的干预组合。
论文链接:https://arxiv.org/abs/2611.17820
为观察 agent 团队如何处理安全冲突,他们选择了安全目标与商业目标无法同时实现的任务,并比较 agent 团队和同一模型作为单 agent 时的选择。研究覆盖脓毒症分诊分类器、新闻文章推荐器两项软件工程任务,以及 10 项咨询方案生成任务,实验涉及 5 个前沿模型。已对齐的单 agent 被设为行为参照,用于判断 agent 团队是否保留了单 agent 处理这些权衡时的行为。
#Harvard University#Anthropic#Claude#Mythos Preview#Opus 4.1#magelab