SGLang 与 Miles 适配 Vera Rubin
AI 总结
SGLang 与 Miles 团队称,他们提前获得两个 NVIDIA Vera Rubin 节点(共 8 块 GPU),把 SGLang 推理和 Miles 强化学习训练都跑在了这一代平台上。针对 Kimi K3 NVFP4 推理,团队调整了 attention、MoE/通信与 KDA 核函数,报告 MLA 深流水线在 batch 16、128k 上下文下快 16%,split-KV 归并快 20%,融合 MoE 尾部使端到端提速 5.9%,并消除了每步 276 次核函数启动。训练侧 Miles 以 SGLang 做 rollout、Megatron 做训练,在单托盘 4 块 GPU 上跑通 Qwen3-30B-A3B 与 DeepSeek-V4-Flash 的端到端 RL,并在 Vera CPU 上用 64 个沙箱做 agentic RL(SWE-bench Verified)。团队还援引 Cognition 的说法,称其基于自有 SGLang 分支部署 Vera Rubin NVL72 后,总 token 吞吐相比 GB200 NVL72 最高提升 4.8 倍。
深度见解
这是新硬件代次上开源推理与训练栈的一次早期适配验证,为 Kimi K3 等超大模型的实际服务吞吐与成本提供了初步参考。