构建可靠智能体框架的三个经验
AI 总结
一位作者复述了使用 OpenAI SDK 构建智能体框架时,随着上下文扩大而逐渐变慢的经历。文章提出三类问题及对应做法:通过按类型管理消息、摘要旧对话和默认截断工具输出来控制上下文增长;通过限制重试次数并区分可重试与不可重试错误来避免反复调用失败工具;通过保存消息、工具调用记录和中间状态的快照,使长任务中断后能够恢复。作者称这些改动降低了延迟和 token 消耗,但仅提供伪代码,没有完整实现或受控基准测试,因此其性能说法仍属于非正式观察。
深度见解
报告提供了上下文管理、有限工具重试、错误分类、状态持久化和长任务恢复方面的具体模式与伪代码,可供改进智能体应用参考。
前阵子在写自己的agent harness,跑着跑着发现一个问题:上下文越跑越慢。
一开始以为是模型本身的问题,后来排查发现是harness工程上几个坑没填好。
今天把这几个坑写出来,给同样在写LLM应用的同学参考。
坑一:上下文膨胀——把所有历史都塞回去
一开始我写harness的时候,每次调模型都把全部历史对话塞进去。
短任务还好,跑个几十轮之后,上下文长度直接爆。模型处理变长的prompt,延迟指数上升,token成本也翻倍。