Anthropic推出Anvil自动化红队系统
AI 总结
Anthropic推出基于Claude构建的自动化红队系统Anvil,用于在生物安全、网络安全和信息安全测试中寻找模型防护漏洞。Anthropic称,Anvil在24组生物安全测试组合中有23组找到严重程度高于人工的越狱方案,突破全部24组网络安全任务与模型组合并用时0.5至3.5小时,且在发送435次请求后发现了首个实质性推理信息泄露漏洞。报告所述基准结果尚未获得独立验证。
深度见解
Anthropic称,Anvil可能加快模型部署前的安全测试并扩大覆盖范围。其测试还表明,使用关闭安全防护的内部Claude模型是重要条件,而获取分类器精确评分并非决定性因素,因为在只能获知是否被拦截时,Anvil仍能继续取得进展。

智东西 编译 | 黄菲 编辑 | 江宇
智东西11月13日消息,今日,Anthropic公布了一套名为Anvil的自动化红队测试系统。该系统基于Claude构建,能够自主寻找模型安全防护机制中的漏洞,并在生物安全、网络安全和信息安全三个领域展开测试。Anthropic称,Anvil在多项测试中的表现已经超过人类红队测试人员,部分漏洞发现速度从数周缩短至数小时。

▲Anthropic官方技术博文。来源:Anthropic
随后,Anthropic安全与AI安全研究员Javier Rando也在X平台发文介绍了这项工作,并感谢了Anthropic官方技术文章列出的前三位共同作者Nate Rahn、Chawin Sitawarin和David Huang的贡献。
#Anthropic#Anvil#Claude#Investigator Agent#ExploitBench V8#ExploitGym#Cybertasks#Opus 5.5#Fable 5.1