SGLang 首日支持 Muse Spark Open
AI 总结
LMSYS 博客称，SGLang 与 Miles 已为开放权重多模态混合专家模型 Muse Spark Open 提供首日（day-0）支持。该模型文本主干为 816B 参数、每 token 约 42B 激活参数，可接受文本、图像、视频与音频输入，支持 100 万 token 上下文，并提供 NVFP4 与 BF16 两种检查点。SGLang 为此加入序列并行与 NVFP4 MegaMoE 预填充优化、多模态预处理优化，以及 DFlash V2 投机解码；官方称在 8 张 NVIDIA B300 上以 NVFP4 运行 OpenHands 多轮智能体编程回放时，单卡总吞吐从并发 1 时的 14.8K tokens/s 升至并发 128 时的 80.3K tokens/s。
深度见解
对新发布的开源大模型而言，主流推理框架能否在首日给出可用且高效的适配，正越来越影响其被开发者实际采用的速度。