Armature 研究:编程智能体如何挑工具
AI 总结
开发者工具增长服务公司 Armature 公布了一项研究,考察编程智能体如何选择第三方工具:覆盖 75 个公开代码仓库,测试 Claude Code、Codex 与 Cursor,并设计了 1,163 种模拟不同开发者角色(如 vibe coder、初创初级工程师、大企业资深开发者)的 prompt,其对外展示的核心数据来自 5,292 次经核验的会话子集,而完整实验约 17,000 次会话。研究称仓库上下文影响巨大,例如同一类邮件/通信服务选型中,TypeScript 代码里 Resend 在 89 次中胜出 55 次,Python 里 SendGrid 在 24 次中胜出 22 次,Go 里 Postmark 在 24 次中胜出 20 次,Java 里 Azure ACS 在 23 次中胜出 22 次。三个智能体只在 42% 的测试单元里选出同一个工具,Claude Code 选择“自己造”的比例接近 Codex 与 Cursor 的两倍(19% 对 10%),且三者信息来源不同:Codex 几乎总是使用网页搜索(占会话 94%),Cursor 约三分之二的会话基于网页信息,Claude Code 主要依赖自身已有知识、仅约 30% 情况下搜索网页,但一旦联网访问的页面数量是 Codex 的三倍。
深度见解
如果工具选型越来越多由智能体而非人类完成,厂商面向人的二十年品牌积累可能失效,文档与定价页需要针对智能体阅读习惯重新优化。