工单系统按任务路由Qwen模型降本提速
AI 总结
掘金·人工智能报道称，一家公司按任务复杂度，将工单请求分别路由至 qwen-turbo、qwen-plus 和 qwen-max。作者称，月度 token 花费从4,180元降至1,590元，工单分类准确率也从91.2%升至93.7%。并发由32降至12并按任务分级排队后，端到端 P95 延迟据称从6.8秒降至2.1秒。
深度见解
这一单公司实践提供了具体数据，显示任务分类、模型路由、摘要压缩和分级队列可同时降低推理成本与延迟，但相关指标均为作者自述。
我们公司的工单系统跑了六年，去年年底加了一个 AI 助手：客服把用户的话粘进去，自动判断该派给哪个组、紧急程度几级、要不要拉人。
一开始很朴素——所有请求都丢给同一个模型。跑了两周，账单下来了，我盯着那个数字看了很久，然后决定重做。
不是模型不好。是我们把一个需要"想得很深"的活和一个只需要"归个类"的活，交给了同一个脑子。
一、先看一个很土但很有用的分法
工单系统的 AI 请求，拆开看其实只有三类：