创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Humming 0.1.18扩展SGLang低比特MoE集成

AI 总结

Humming 0.1.18将SGLang集成扩展至更多量化方案和GPU架构,包括Hopper与Blackwell。该项目还为SGLang的MoE运行器引入了共享的激活表达式接口。在使用8块H20-3e GPU对DeepSeek-V4.1-Flash-1017进行的评估中,项目方报告称,在相同精度和所测试的长上下文场景下,Humming A16的预填充速度较Marlin A16提升1.07至1.23倍。报告还涵盖FP8专家激活、投机解码接受率以及仅限于所述EP1配置的质量检查。

深度见解

该版本为SGLang用户提供了支持多种量化方案和GPU架构的量化稠密与MoE推理统一集成,并公布了项目方的服务性能评估及特定配置下的质量检查。

#Humming 0.1.18#SGLang#Ant Group#DeepSeek-V4.1-Flash-1017#Marlin#FlashInfer 0.7.2#NVIDIA Hopper#NVIDIA Blackwell#NVIDIA H20-3e

原文约 15 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。