释放18GB显存后125B模型吞吐升至256.2 tok/s
AI 总结
一项在单台RTX 5090上进行的双轮单变量测试,对比了其他容器占用约18GB显存与显存释放后运行Qwen3.8-Flash-Next Q2_0的差异。释放显存使专家缓存从5,784个槽位增至19,530个,实测解码吞吐从140.6升至256.2 tok/s,每个token的能耗从1.634降至1.314焦耳。报告指出,跨内容比较存在局限,部分容量规划数据属于外推而非直接实测。
深度见解
详实的遥测数据展示了专家缓存容量如何影响MoE推理速度和能耗,但其单机测试条件限制了结论的普适性。
中小企业跑125B 大模型:18GB 显存之差,到底值多少吞吐
作者:吴佳浩 撰稿时间:2026-10-24 测试环境:
- GPU:RTX 5090(32GB VRAM,驱动 580.142,CUDA 13.0,PCIe Gen3 ×16,实测 13.9 GB/s)
- CPU:Intel Xeon Gold 5218 ×2(32 物理核 / 64 线程,2 个 NUMA 节点,无 AVX512-BF16)
- Memory:125.6 GiB RAM
- OS:Ubuntu 20.04.3 LTS(kernel 5.15.0-58)
- Engine:Strata v0.2.2(engine 0.1.47,CUDA 13.0,官方容器镜像)
- Model:Qwen3.8-Flash-Next Q2_0(125B 级 MoE,24,576 专家槽)
- 两轮配置完全相同:
CONTEXT=32k / KV=int8 / PARALLEL=1 / VISION=cpu / MTP spec4 - 唯一变量:第一轮同机其他容器占了 GPU1 的 18,106 MiB;第二轮停掉它们
引言
面向工程师与研究者的体系化分析。 第一篇讲清了机制。这一篇只做一件事:把机制里的每一段,用实测数据钉死。 我把同一台机器、同一份模型、同一套参数跑了两轮,唯一区别是显卡上有没有别人的 18 GB。然后我从引擎日志里挖出 2,890 条逐请求遥测(每条都带「专家缓存命中率」和「PCIe 溢出比例」),把「显存 → 吞吐」这条链逐段拆开。 你可以把这篇当成一份「容量规划参考表」:给定显存,我告诉你能期待多少 tok/s;给定速度目标,我告诉你需要多少显存。 注:全文所有性能数字均来自本机两轮真实压测(合计 1,507 次请求、1,362 个资源采样点、317 个服务端指标采样点),未经验证的推算会明确标注。因为阿拉好奇,所以停掉别人占的卡,一道来白相相——看看这 18 GB 是"锦上添花"还是"生死攸关"。
#Qwen3.8-Flash-Next Q2_0#NVIDIA GeForce RTX 5090#Strata v0.2.2#Intel Xeon Gold 5218