VeriCUA让验证器主动取证核验智能体
AI 总结
Google与香港大学推出VeriCUA,通过勘察环境、制定验收标准、收集GUI与代码证据并按规则仲裁,核验计算机操作智能体是否真正完成任务。据论文报告,该方法在五个基准上均领先,AndroidWorld准确率为90.5%,ScienceBoard假阳性率为5.4%,并拒绝了约80%的虚假完成报告。
深度见解
VeriCUA为降低智能体评测、强化学习奖励和训练数据筛选中的假阳性提供了可借鉴的验证流程,但实验仅使用Gemini系列骨干,代码也尚未开放。
💡 一句话总结:Google 和港大的 VeriCUA 把「判定计算机操作智能体是否真完成任务」从一次模型调用打分,升级成一套会主动取证的验证流程——先勘察环境再定验收标准,GUI 和代码两条通道找证据,按证据可信度规则仲裁。五个基准全部领先,假阳性率最多砍到基线的四分之一。做 agent 评测、RL 奖励、数据筛选的人都该看看。
先问一个可能戳到你的问题:你训 agent 的时候,有没有怀疑过训练集里那些「成功」轨迹?
比如你让智能体「把这段笔记保存到备忘录」,它操作了一通,界面上明明显示着笔记内容,于是它报告:任务完成。轨迹看着没毛病,验证器打了个勾,这条样本就进了你的 RL 奖励池或者 SFT 数据集。
#Google#University of Hong Kong#VeriCUA#Gemini#AndroidWorld#ScienceBoard#OSWorld#OSReward#OS-Themis