创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

SGLang支持MoE部署运行时弹性扩容

AI 总结

SGLang现已支持MoE推理部署运行时扩容,可按需增加GPU rank,而无需替换正在运行的部署或重启服务。LMSYS Blog以20卡扩至24卡为例,并称项目方在8张H100上使用DeepSeek-V3-Lite FP8的测试中,完成首个请求的速度比重启快5.3至8.2倍,但该数据未获独立验证。加入rank进入Mooncake WORLD后目前尚不支持自动回滚,缩容及扩容后的恢复仍是后续工作。

深度见解

弹性专家并行扩容让大型MoE推理部署能够以更细粒度增加GPU容量,而无需部署完整副本或重启现有服务。

#SGLang#NIXL#Mooncake#DeepSeek-V3-Lite#NVIDIA H100

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。