vLLM 支持 Vera Rubin NVL72
AI 总结
vLLM 团队联合 Inferact、Red Hat 和 NVIDIA 在博客中表示,vLLM 目前已可在 NVIDIA Vera Rubin NVL72 上运行,提供每日容器构建(vllm/vllm-openai:cu134-nightly,基于 CUDA 13.4 与 PyTorch 2.15),并可服务 DeepSeek、Kimi、GLM、MiniMax 等模型。由于 Rubin 沿用 Blackwell 架构家族(sm100f 内核可直接运行),早期测试称在 SemiAnalysis AgentX 上以 MiniMax M3 达到每 GPU 约 7.8 倍于 GB200 NVL72 的吞吐(同等交互性下),在 MLPerf Inference v6.1 的 VLM 项目中以 Qwen3-VL-235B-A22B 达到最高 3.7 倍于 GB300 NVL72 的吞吐。硬件层面,Rubin NVL72 相对 GB200 NVL72 提供 5 倍 NVFP4 算力、约 2.4 倍 HBM 带宽与 1.7 倍第六代 NVLink 带宽,vLLM 还通过 FlashInfer 0.7.0 的 Rubin 调优内核以及 CUDA 13.4 locality domain 优化 MoE 解码,初步获得约 1.2 倍加速。上述数字均为早期、合作方自测结果,官方称后续将随更多节点接入继续优化。
深度见解
对计划在新一代 NVIDIA 硬件上部署开放权重模型的团队来说,这显示服务栈已基本可用,但性能数据仍属早期自测。