SGLang支持MoE部署运行时弹性扩容
AI 总结
SGLang现已支持MoE推理部署运行时扩容,可按需增加GPU rank,而无需替换正在运行的部署或重启服务。LMSYS Blog以20卡扩至24卡为例,并称项目方在8张H100上使用DeepSeek-V3-Lite FP8的测试中,完成首个请求的速度比重启快5.3至8.2倍,但该数据未获独立验证。加入rank进入Mooncake WORLD后目前尚不支持自动回滚,缩容及扩容后的恢复仍是后续工作。
深度见解
弹性专家并行扩容让大型MoE推理部署能够以更细粒度增加GPU容量,而无需部署完整副本或重启现有服务。
On this page