TokenSpeed：面向智能体的开源推理引擎
AI 总结
LightSeek 基金会开源推理引擎 TokenSpeed 登上 GitHub 趋势榜，官方定位为面向智能体工作负载的“光速”推理引擎，目标是同时达到 TensorRT-LLM 级别的性能与 vLLM 级别的易用性。其架构特点是把控制平面（用 C++ 实现的有限状态机，借助类型系统在编译期约束请求生命周期与 KV cache 资源安全）与 Python 执行平面分离，内核则作为可插拔模块通过公开 API、集中注册表与插件机制管理。官方博客称该项目已加入 PyTorch 生态，并在 NVIDIA GB300 上实现单用户 685 tokens/s 服务 Qwen3.8-Flash-Next、在 AMD Instinct MI355X 上做 Kimi K3 推理优化，同时获得 NVIDIA 与 AMD 的工程支持；这些性能数据来自项目方自述。
深度见解
推理引擎在控制面与执行面分离、并由非营利基金会中立治理，可能影响智能体规模化部署的成本与生态选择。