GUI Agent 在无障碍层面临可靠性限制
AI 总结
一篇报告指出,不截图的 GUI Agent 依赖操作系统无障碍树中稳定且唯一的节点名称。报告审计的两种界面无名率分别为 0% 和 50%。模拟树变化后,70% 的引用位置指向了不同控件。报告还指出,在所述统计假设下,agent-desktop 连续 55 次成功对应的失败率上限为 6.5%(95% 置信度),并不能证明失败率低于 1%。
深度见解
报告为 GUI Agent 开发者提供了工程建议:检查无名和重名控件、每次动作后刷新无障碍树,并通过界面状态断言核验结果,而不是依赖智能体自称完成。
今天热榜上一天冒出四条 GUI Agent:agent-desktop 连点 55 次 0 失误、Mika 在安卓后台虚拟屏上替你操作 App、WorkBuddy 接管浏览器,还有一篇讲 App 未来会被 Agent 以三种方式调用。
全在回答同一个问题:这件事能不能做。
第二个问题没人问:在什么界面上做不了。
其实 agent-desktop 那篇文末自己给了答案,只是被写进了「适用边界」:「我之前测滴答清单时碰到一排长得一模一样、没有名字的输入框,它在后台模式下直接拒绝修改,得允许它加 --headed 切到前台、用真鼠标去点。」
这句比「55 次 0 失误」重要得多。它说明不截图这条路线有一个硬边界,而且这个边界不在模型侧,在界面侧。
ref 定位,本质是拿序号代替坐标
不截图的 Agent 怎么定位:读操作系统的无障碍树,给每个控件编一个号,让模型输出「点 e17」。