Baseten 为开放模型加入延迟工具加载
Baseten 称,其 Model APIs 已通过 Chat Completions 和 Messages API 格式为 DeepSeek、Kimi 和 GLM 支持延迟工具加载。在其使用 Claude Code 进行的基准测试中,编码任务平均成本降低 62.5%、速度提升 26.2%,智能体任务平均成本降低 51.1%、速度提升 14.9%。测试涵盖 8 个基准中的 55 项任务。Baseten 表示,DeepSWE 和 MCP-Atlas 任务的耗时略有增加,而 Toolathlon-GYM 更适合预先加载工具,该基准中的任务平均调用工具 68 次。
Baseten 称,延迟工具加载可以在保持模型和框架不变的情况下减少上下文与服务成本。在其示例中,系统提示中的工具模式从约 14.1 万个 token 降至约 1,300 个 token,从而降低解码成本并缩短任务耗时。
Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness

Please rotate your device
To continue exploring this website, please rotate your device to a vertical orientation
AI engineering
Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness
We brought deferred tool loading to open models, making coding agents up to 62% cheaper and 26% faster with the exact same model and harness.
#Baseten#Baseten Model APIs#DeepSeek#Kimi#GLM#GLM 5.3#Claude Code#Codex