MoE推理优化:批处理、DeepEP、DeepGEMM与负载均衡
AI 总结
这篇“推理 INFRA 方法论”系列第六篇文章,将MoE批处理理论与8张H20-96 GPU上的端到端测量相结合。文章围绕专家覆盖率、全对全通信、tile填充和专家负载不平衡展开分析,并说明DeepEP、DeepGEMM与EPLB如何分别应对不同瓶颈。作者强调,bench_one_batch_server采样不能等同于在线服务的P99延迟,旧的吞吐模型也不应继续作为容量规划依据。在已有采样中,批大小64在22.6毫秒TPOT下达到2,828 tokens/s,满足30毫秒限制;批大小128的TPOT为30.9毫秒,未达标。文章没有确定满足限制的最大批大小。
深度见解
该分析给出了一套框架,帮助理解更大的MoE批大小为何可能提升计算利用率,同时增加全对全通信、填充浪费和专家负载倾斜。它也表明,在SLO约束下优化有效吞吐时,必须综合考虑DeepEP、DeepGEMM和EPLB所应对的不同约束。
沿着 batch 这条主线,分析专家覆盖率、通信量、tile 填充和负载倾斜,并用端到端实测校验理论预算。
本文为「推理 INFRA 方法论」系列第 6/8 篇。发布日期按 2026 年 1–11 月编排;内容统一整理于 2026-11-01,包含年内后续更新的模型与实验资料。
Shape 与稀疏度的演变
| 模型 | E(routed) | k | 专家 inter | 稀疏度 | 形态 |
|---|---|---|---|---|---|
| 稠密 FFN (Llama-70B) | — | — | 28672 | 100% | 一个大 GEMM |
| DeepSeek-V3 (2024) | 256 | 8+1s | 2048 | 5.5% | 细粒度 + shared |
| Qwen3.5 (2026) | 512 | 10+1s | 更小 | 4.3% | 超细粒度 (shared 去了又回) |
| DS-V4-Pro (2026) | 384 | 6+1s | 2048 | 3.1% | + 原生 FP4 |
趋势:E 涨 64×、单专家缩小 14×、稀疏度 25%→3%。
后果:单专家 GEMM 从”大而稠”变”小而碎”——MoE 的一切系统问题(padding、EP、EPLB)都源于这个形态变化。
#DeepEP#DeepGEMM#EPLB#NVIDIA H20#Qwen3.5-397B-A17B-FP8#DeepSeek-V3#Llama-70B#DS-V4-Pro#SGLang#CUDA Graph