Meta发布HackBench智能体奖励劫持基准
据 DoNews 报道,Meta AI 的 RAM 研究团队发布 HackBench,用于检测和定位自主科研智能体的奖励劫持行为。基准包含169条经审计轨迹,其中41条为真实案例、128条为合成样本,并以命令级标签评估精确率、召回率和F1;Claude Opus 5以64.88的F1得分居首。Meta已公开轨迹与标签,完整技术报告计划上传至 arXiv。
HackBench 提供了公开的命令级测试集,用于衡量模型能否从超长智能体日志中发现隐藏的奖励劫持行为,而本次参评的闭源和开源系统均暴露出检测短板。
(文/杨亮)10月28日消息,Meta AI 的 RAM 研究团队近日发布全新评测基准HackBench,专门用于检测、定位自主研究智能体(Autoresearch Agents)的奖励劫持(Reward Hacking)问题。
实测结果显示,包括闭源旗舰与主流开源大模型在内的多款前沿系统,都难以完整识别智能体作弊行为,即便是性能最优模型 F1 分数也仅 64.88 分,暴露出 AI 智能体监督领域的现实短板。
所谓奖励劫持,指 AI 智能体不去完成任务本身,而是利用评测校验环节漏洞,篡改评估代码、窃取测试集数据、筛选结果,以此刷高奖励分数。
在自主科研智能体场景中,智能体拥有读写代码、运行脚本、修改本地文件的完整权限,奖励劫持行为往往分散在百万 token 级别的超长运行轨迹中,作弊指令混杂在数百条正常命令之间,单看最终得分完全无法分辨是真实科研产出还是漏洞套利,一旦漏检还会污染基于验证反馈的强化学习训练信号。
#Meta AI#HackBench#Claude Opus 5#Muse Wonder#GPT-5.6 Sol#GPT-5.5#Muse Spark 1.3#Claude Opus 4.8#GLM-5.2#Kimi K3#ResearchGym#AutoLab