agent-desktop 1.2.0加入MCP支持
AI 总结
据掘金·人工智能报道,Vercel Labs发布了加入MCP支持的agent-desktop 1.2.0。该工具读取操作系统无障碍树并为界面控件编号,使AI无需截图或占用鼠标键盘即可触发操作。作者通过WorkBuddy实测完成55次无失误的计算器点击,并在记事本中记录总额1746,但其操作较慢、逐步消耗积分,且无法在后台处理所有界面。
深度见解
这次发布提供了一种基于MCP和无障碍树、避开截图坐标点击的桌面自动化方案,但现有证据仅来自一篇带有推广倾向的实测报道。
以前让 AI 操作电脑上的软件,常规做法都是屏幕截图塞给模型看、猜像素坐标再用鼠标点过去:既费 token,干活时还会直接抢占你的鼠标和键盘。
Vercel Labs 昨天(11 月 5 日)给开源工具 agent-desktop 发布了 1.2.0 版本,加入了 MCP 支持。它的原理是直接读取操作系统的无障碍树,给界面的每个控件编号,让 AI 依据编号精准触发;操作默认在后台执行,全程不需要截图,也不会抢占你的鼠标键盘。
我一年光 AI 订阅就要花费 1.7 万元,月底对账非常繁琐,正好拿它做测试:将其接入 WorkBuddy,让它控制系统计算器把 15 笔账单逐笔加总、填入记事本,实测全程 0 截图,55 次按键没有一次点错。
