客户端并发加速DeepSeek工具调用
AI 总结
一名开发者称,将内部代码巡检智能体的12次工具调用从串行改为并发后,耗时从94秒降至约23秒。其追踪数据显示,原任务有71秒用于等待工具和API,模型推理仅占8秒。掘金人工智能记录了客户端调度、并发限制、异常处理、结果校验、流式聚合及两阶段上下文策略,并将输入量从2.1万降至5100个token。
深度见解
这一手工程案例表明,智能体延迟可通过客户端执行层设计显著降低,同时并发仍需处理顺序错误、上下文膨胀、调用失败和接口过载等问题。
我把 Agent 的 12 个工具调用改成并发后,耗时从 94 秒掉到 23 秒:DeepSeek 并行 function calling 的工程细节
上个月我们内部那个代码巡检 Agent 上线,产品经理试用第一句话是"能不能快点"。我拉了下 trace,一个 12 文件的巡检任务 94 秒,其中 71 秒是纯等待——等文件读出来、等 grep 跑完、等内部搜索接口返回。模型本身的推理只占了 8 秒。
这不是模型慢,是我的执行层太老实。这篇记录我把这批调用从串行改成并发时踩的坑,以及最后落地的一套并发策略,包含 8 个具体问题和可复用的代码骨架。
一、并行工具调用的边界在哪
先说清楚责任划分,这一点搞混了后面全是坑。
模型在一次响应里可以返回多个 tool_calls,这是"提议"。真正把这些调用同时跑起来的是客户端。也就是说,并行能力在你手里,不在模型手里。DeepSeek 的 chat completions 接口会老老实实把多个调用放在一个数组里返回,但如果你用 for 循环一个个 await,那就还是串行。