创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

GUI Agent 在无障碍层面临可靠性限制

AI 总结

一篇报告指出,不截图的 GUI Agent 依赖操作系统无障碍树中稳定且唯一的节点名称。报告审计的两种界面无名率分别为 0% 和 50%。模拟树变化后,70% 的引用位置指向了不同控件。报告还指出,在所述统计假设下,agent-desktop 连续 55 次成功对应的失败率上限为 6.5%(95% 置信度),并不能证明失败率低于 1%。

深度见解

报告为 GUI Agent 开发者提供了工程建议:检查无名和重名控件、每次动作后刷新无障碍树,并通过界面状态断言核验结果,而不是依赖智能体自称完成。

今天热榜上一天冒出四条 GUI Agent:agent-desktop 连点 55 次 0 失误、Mika 在安卓后台虚拟屏上替你操作 App、WorkBuddy 接管浏览器,还有一篇讲 App 未来会被 Agent 以三种方式调用。

全在回答同一个问题:这件事能不能做。

第二个问题没人问:在什么界面上做不了。

其实 agent-desktop 那篇文末自己给了答案,只是被写进了「适用边界」:「我之前测滴答清单时碰到一排长得一模一样、没有名字的输入框,它在后台模式下直接拒绝修改,得允许它加 --headed 切到前台、用真鼠标去点。」

这句比「55 次 0 失误」重要得多。它说明不截图这条路线有一个硬边界,而且这个边界不在模型侧,在界面侧。

ref 定位,本质是拿序号代替坐标

不截图的 Agent 怎么定位:读操作系统的无障碍树,给每个控件编一个号,让模型输出「点 e17」。

#agent-desktop

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。