TokenRouter：面向 Token 级 LLM 路由的高效服务系统
AI 总结
arXiv 上发布的一篇论文提出 TokenRouter，一个面向 Token 级 LLM 路由推理的服务系统：开发者以单条请求的视角编写路由逻辑，运行时为每个 LLM 启动子服务器并异步分发请求，各子服务器采用延迟批处理调度器，其超参数由系统吞吐数学模型推导得出。作者称在多种路由算法、负载和模型组合下，TokenRouter 的解码吞吐比现有系统高 2.01–64.15 倍，代码已公开，论文被 NeurIPS 2026 接收。
深度见解
如果 Token 级路由的调度瓶颈得到解决，多模型推理的成本与质量权衡可能变得更容易在真实服务中落地。