EVIL基准揭示大模型“共谋协助”风险
据品玩实时要闻报道,清华大学、电子科技大学与剑桥大学团队合作的论文于11月20日发表于《Nature Communications》。研究团队基于中美法律文书及刑事阶层理论构建EVIL非法指令基准,测试大模型面对多样化现实非法请求时的表现。团队称,超过半数刑事案由下受测模型的平均安全率低于65%,毒品、走私、扰乱公共秩序与非法赌博等情境低于60%。
这项跨法域研究显示,主流安全对齐方法对大模型协助现实非法请求的防护整体有限。
我组联合电子科技大学、剑桥大学等团队完成的论文《Large Language Models’ Complicit Responses to Illicit Instructions across Socio-Legal Contexts》于11月20日发表在《自然》(Nature)子刊《自然·通讯》(Nature Communications)。本工作为清华大学新闻与传播学院、清华大学计算机系、清华大学法学院、电子科技大学、剑桥大学联合研究成果。
随着大语言模型的普及,数十亿用户依赖它们完成各项任务,带来了巨大的社会效益。然而,在提升效益的背后,一个严峻的风险正悄然浮现:当用户提出非法请求时,例如协助犯罪、策划不法行为等,这些看似中立的模型是否会成为“共谋者”?与此同时,现实世界中的非法活动远比想象中复杂,不仅非法场景种类繁多,背后的动机也千差万别,例如用户可能寻求针对作案工具的建议,也可能为违法行为寻找欺骗性借口以脱责等。
以往的大模型安全研究多聚焦于少数特定场景,缺乏对模型在多样化、接近真实情境的非法请求下可能出现的共谋协助风险的系统性研究。如何建立一个有效框架,对这种既广泛又复杂的共谋协助风险进行研究?进一步,面向多样社会、法律场景下的非法请求,模型如何表现?现有安全评测数据和对齐方案能否有效揭示或解决这种“共谋协助”风险?这些关键问题,仍然缺乏系统性的答案。
#Tsinghua University#University of Electronic Science and Technology of China#University of Cambridge#EVIL