AI Agent的正确答案不等于链路正确
AI 总结
掘金作者基于16次实验指出，模型生成工具调用、工具在本地执行成功或最终回答正确，都不能单独证明AI Agent遵循了预期的数据链路。文章建议分别核查模型请求、Harness执行、工具返回、下一轮上下文及权威状态，并展示了删除历史会切断反馈循环、运行时护栏可在副作用发生前拦截未授权操作。文中还强调，提示词和Skill的效果取决于模型实际收到的内容，评估Agent应追踪完整证据链。
深度见解
这些实验为评估AI Agent可靠性提供了实用方法，有助于区分模型决策错误与Harness、工具和上下文链路故障。
前言
最近我在系统学习 AI Agent。
一开始，我对 Agent 的理解比较简单：
大模型能够调用工具，就算是 Agent。
但真正跑完前 16 节实验以后，我发现事情并没有这么简单。
模型能够生成一个 tool_call，不代表工具真的执行了；工具在本地执行成功，不代表结果已经传给模型；模型最终回答正确，也不代表中间的数据链路是正确的。