LangSmith追踪暴露智能体路由与上下文缺陷
AI 总结
在“掘金 · 人工智能”的实测追踪中,财富管理智能体处理投资组合问题,却没有把客户画像传给判断节点或反应式提示词。尽管同一 state 中已有 65% 的股票配置,智能体仍声称无法访问投资组合数据;追踪显示判断耗时 4.38 秒,回答耗时 1.06 秒。作者还发现隐藏 span 带来了模型调用之外的框架开销,紧急标签没有对应独立路由,兜底分流也无法与正常反应式决策区分。
深度见解
这次追踪显示,提示词缺少上下文、误导性路由标签和不可辨识的兜底逻辑,会让智能体在技术层面执行成功,却向用户提供无用答案。
我问了它一句:我的投资组合中科技股占比是多少?
选的是进取型那个客户。300 万,股票 65%、债券 15%、现金 5%、另类 15%。
跑完终端打印"处理用时 6.54 秒"。我当时的反应是:还行吧,六秒多,能接受。
然后我打开 LangSmith,点了下这条 trace。
6.43 秒。比终端那个数少 0.11 秒,是本地 print 的开销。
两个数差不多。但拆开看是另一回事。