Agent变慢,先查链路再换模型
AI 总结
掘金文章指出,智能体响应缓慢往往源于工具、检索、沙箱或编排,而非模型本身。作者用一个30秒响应案例说明,其中3秒用于模型推理,25秒耗在搜索工具等待网站重试,因此追踪链路是诊断关键。文章随后讨论工具接口、过程评估、检索指标、浏览器自动化、沙箱、注入防护、RAG与微调、图式工作流,以及何时不应使用智能体。
深度见解
文章为智能体工程实践提供了一套先测量、再定位、后修改的诊断清单,避免把工具瓶颈误判为模型问题。
一次响应花了 30 秒。
接到反馈的第一反应是模型太慢,换个更快的。
挂了 Trace 才看清这 30 秒花在哪。模型思考 3 秒,剩下 25 秒卡在一个搜索工具上。那个工具在等一个网站的重试,一次一次地等。
换模型能把 3 秒压到 2 秒。然后继续等那 25 秒。
Agent 的问题,很多看着像模型的问题,其实不是。
这类问题常见的有二十几个,散在检索、工具、沙箱、编排各个层面。怎么做反而是次要的。难的是判断哪里出了问题。
#GraphRAG#LangGraph#OpenManus#Playwright#vLLM#Anthropic#Daytona#E2B