vLLM约束解码提升工具调用模式准确率
AI 总结
Ubicloud工程师称，使用vLLM 0.28服务Kimi K2.6时，在2,000次K2VV ToolCall基准请求中仅92%的工具调用符合指定模式。vLLM 0.31加入服务器端约束解码开关后，他们报告称较新的Kimi和DeepSeek模型模式准确率达到100%，随后将这一配置部署到生产环境。文章同时指出，约束解码可能导致生成偏离、语法转换错误、请求失败及与推测解码冲突，因此vLLM没有默认启用该功能。
深度见解
Ubicloud的部署表明，在多轮智能体工作负载中，推理引擎配置会直接影响工具调用模式的合规性，而其记录的兼容性问题也说明该功能仍需谨慎启用。
All Blog Posts
October 20, 2026 · 8 min read
Jesse Donkervliet and Junhao Li
Senior Software Engineers
When I use an open-weight model, I see results that are nowhere close to what the quality benchmarks indicate.
#vLLM#Ubicloud#Kimi K2.6#DeepSeek V4 Flash#XGrammar#K2VV ToolCall#OpenCode