创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

AI审计器能发现智能体不当行为,高检出目标会带来更多误报

AI 总结

Andy Hall的一项试点研究复现并扩展了METR的工作,测试AI模型能否从智能体日志中识别奖励黑客和蓄意沙袋行为。在误报率为5%时,GPT-5检测到近98%的奖励黑客案例,各审计器捕获了71%至81%的沙袋案例。这种权衡在要求较高检出率时更加明显:在使用R-Judge数据集的另一项测试中,当目标检出率为95%时,几乎所有模型的误报率都低于10%;但目标升至99%时,表现最佳的模型误报率也达到15%。Hall认为,AI审计器更适合估算问题发生频率,而非可靠地捕获每一次事件,同时说明该分析仅代表其个人观点。奖励黑客的结果仅基于47个案例,而且大多数沙袋案例是合成的。

深度见解

这项研究表明,基于模型的审计能识别大量智能体不当行为,同时显示更高的检出要求可能带来大量误报,从而加重人工安全审查的负担。

AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds

Manuel Uth

Nov 7, 2026

Image description

Nano Banana Pro prompted by THE DECODER

AI models can often spot problematic behavior by other AI agents in logs. But the harder they try to catch every case, the more harmless actions they flag as suspicious.

#Andy Hall#METR#MALT#GPT-5#GPT-5 nano#GPT-6 Astra#Opus 4.8#Gemini 3.8 Flash#OpenAI o3#Claude Sonnet 4#Anthropic Institute#Shanghai Jiao Tong University

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。