创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

客户端并发加速DeepSeek工具调用

AI 总结

一名开发者称,将内部代码巡检智能体的12次工具调用从串行改为并发后,耗时从94秒降至约23秒。其追踪数据显示,原任务有71秒用于等待工具和API,模型推理仅占8秒。掘金人工智能记录了客户端调度、并发限制、异常处理、结果校验、流式聚合及两阶段上下文策略,并将输入量从2.1万降至5100个token。

深度见解

这一手工程案例表明,智能体延迟可通过客户端执行层设计显著降低,同时并发仍需处理顺序错误、上下文膨胀、调用失败和接口过载等问题。

我把 Agent 的 12 个工具调用改成并发后,耗时从 94 秒掉到 23 秒:DeepSeek 并行 function calling 的工程细节

上个月我们内部那个代码巡检 Agent 上线,产品经理试用第一句话是"能不能快点"。我拉了下 trace,一个 12 文件的巡检任务 94 秒,其中 71 秒是纯等待——等文件读出来、等 grep 跑完、等内部搜索接口返回。模型本身的推理只占了 8 秒。

这不是模型慢,是我的执行层太老实。这篇记录我把这批调用从串行改成并发时踩的坑,以及最后落地的一套并发策略,包含 8 个具体问题和可复用的代码骨架。

一、并行工具调用的边界在哪

先说清楚责任划分,这一点搞混了后面全是坑。

模型在一次响应里可以返回多个 tool_calls,这是"提议"。真正把这些调用同时跑起来的是客户端。也就是说,并行能力在你手里,不在模型手里。DeepSeek 的 chat completions 接口会老老实实把多个调用放在一个数组里返回,但如果你用 for 循环一个个 await,那就还是串行。

#DeepSeek

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。