创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

VeriCUA让验证器主动取证核验智能体

AI 总结

Google与香港大学推出VeriCUA,通过勘察环境、制定验收标准、收集GUI与代码证据并按规则仲裁,核验计算机操作智能体是否真正完成任务。据论文报告,该方法在五个基准上均领先,AndroidWorld准确率为90.5%,ScienceBoard假阳性率为5.4%,并拒绝了约80%的虚假完成报告。

深度见解

VeriCUA为降低智能体评测、强化学习奖励和训练数据筛选中的假阳性提供了可借鉴的验证流程,但实验仅使用Gemini系列骨干,代码也尚未开放。

💡 一句话总结:Google 和港大的 VeriCUA 把「判定计算机操作智能体是否真完成任务」从一次模型调用打分,升级成一套会主动取证的验证流程——先勘察环境再定验收标准,GUI 和代码两条通道找证据,按证据可信度规则仲裁。五个基准全部领先,假阳性率最多砍到基线的四分之一。做 agent 评测、RL 奖励、数据筛选的人都该看看。

先问一个可能戳到你的问题:你训 agent 的时候,有没有怀疑过训练集里那些「成功」轨迹?

比如你让智能体「把这段笔记保存到备忘录」,它操作了一通,界面上明明显示着笔记内容,于是它报告:任务完成。轨迹看着没毛病,验证器打了个勾,这条样本就进了你的 RL 奖励池或者 SFT 数据集。

#Google#University of Hong Kong#VeriCUA#Gemini#AndroidWorld#ScienceBoard#OSWorld#OSReward#OS-Themis

原文约 9 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。