Qwen3.8-Flash-Next 单用户 685 tok/s
AI 总结
LightSeek Foundation 在 4× NVIDIA GB300 GPU 上以 NVFP4 精度运行 TokenSpeed 推理框架，使阿里 Qwen3.8-Flash-Next 达到每用户 685 输出 tokens/s 的速度。阿里 Qwen 官方 X 账号转发了这一结果并致谢，表示乐见社区进一步释放 Qwen 的推理潜力。LightSeek 称已发布博客介绍背后的算子与推理服务优化，代码在 GitHub 上以 TokenSpeed 项目开源。
深度见解
高吞吐推理优化对开放权重模型的高并发服务部署有参考价值，不过该成绩由合作方自测并主要用于展示 Qwen 的推理潜力。