创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Baseten 为开放模型加入延迟工具加载

AI 总结

Baseten 称,其 Model APIs 已通过 Chat Completions 和 Messages API 格式为 DeepSeek、Kimi 和 GLM 支持延迟工具加载。在其使用 Claude Code 进行的基准测试中,编码任务平均成本降低 62.5%、速度提升 26.2%,智能体任务平均成本降低 51.1%、速度提升 14.9%。测试涵盖 8 个基准中的 55 项任务。Baseten 表示,DeepSWE 和 MCP-Atlas 任务的耗时略有增加,而 Toolathlon-GYM 更适合预先加载工具,该基准中的任务平均调用工具 68 次。

深度见解

Baseten 称,延迟工具加载可以在保持模型和框架不变的情况下减少上下文与服务成本。在其示例中,系统提示中的工具模式从约 14.1 万个 token 降至约 1,300 个 token,从而降低解码成本并缩短任务耗时。

Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness

Please rotate your device

To continue exploring this website, please rotate your device to a vertical orientation

AI engineering

Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness

We brought deferred tool loading to open models, making coding agents up to 62% cheaper and 26% faster with the exact same model and harness.

#Baseten#Baseten Model APIs#DeepSeek#Kimi#GLM#GLM 5.3#Claude Code#Codex

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。