Humming 0.1.18扩展SGLang低比特MoE集成
AI 总结
Humming 0.1.18将SGLang集成扩展至更多量化方案和GPU架构,包括Hopper与Blackwell。该项目还为SGLang的MoE运行器引入了共享的激活表达式接口。在使用8块H20-3e GPU对DeepSeek-V4.1-Flash-1017进行的评估中,项目方报告称,在相同精度和所测试的长上下文场景下,Humming A16的预填充速度较Marlin A16提升1.07至1.23倍。报告还涵盖FP8专家激活、投机解码接受率以及仅限于所述EP1配置的质量检查。
深度见解
该版本为SGLang用户提供了支持多种量化方案和GPU架构的量化稠密与MoE推理统一集成,并公布了项目方的服务性能评估及特定配置下的质量检查。
On this page
- One Backend Across Quantized Representations
- Prepare Once, Specialize for the Workload
- Hopper: Compact MXFP4 Storage, FP8 Computation
- Blackwell: Additional Native Compute Paths
- Connecting Humming to SGLang
- Using Humming in SGLang
- Serving Results on H20-3e
- Prefill
- Decode
- Understanding the Results
- Benchmark Details
- What Comes Next
- Humming
- SGLang Integration
- Acknowledgments
#Humming 0.1.18#SGLang#Ant Group#DeepSeek-V4.1-Flash-1017#Marlin#FlashInfer 0.7.2#NVIDIA Hopper#NVIDIA Blackwell#NVIDIA H20-3e