量化大模型服务的收益取决于批量规模
一篇针对 vLLM 和 SGLang 公开测量的元分析显示,4-bit 量化在 batch size 1 时可带来约 1.35 至 2.12 倍提速,但在所引的 batch 256 测试中,W4A16 的加速比降至约 1.01 至 1.02 倍。一项 H20 测量显示,在长输入场景下 FP8 仍保有 1.68 倍增益,但该分析将大批量 W4A16 的结论标为低置信度,并指出对应比较中没有 FP8 测量。分析还发现,所有被报告的 HumanEval 差异均落在估算的基准噪声范围内,而部分 AWQ 和 GPTQ 案例在 GSM8K 上出现约 4 分的损失。由于底层计时来自不同的引擎版本、GPU、指标和工作负载,而非统一基准,这些结果不能直接视为全面比较。
这项综述为推理部署团队提供了按负载评估量化的依据。其公开测量支持在低批量延迟和显存节省场景中评估 INT4,并在高吞吐服务中评估 FP8,同时强调部署前仍需针对自身环境进行验证。
TL;DR:三位独立研究者把 9B–20B 开源模型在 vLLM/SGLang 上量化的全部公开实测翻了个底朝天,发现所有计时都能用一条「内存带宽 vs 计算」的规则解释:小 batch 时 4-bit 量化提速约 2 倍,大 batch 时增益几乎归零,这时候 FP8 才是还能打的配方。同时,大量被广泛引用的「量化掉点」数字(包括所有 HumanEval 差值)其实落在基准的采样噪声里。文末附 7 条量化评测报告清单,建议部署前对照。
资源
先问一个可能正戳中你的问题:你们团队要把一个 14B 的开源模型放上 vLLM 或 SGLang 自托管,老板问「量化能省多少卡」,算法同学提醒「量化会不会掉点」——然后你去搜资料,得到的是一堆互相打架的答案:模型卡说 AWQ 提速 2.8 倍几乎无损,某基准报告说 GPTQ 掉了 4 分,还有帖子说量化根本没用。
谁对?最近挂在 arXiv(AILET Vol. 1110)上的一篇 letter 给出了目前最接近「标准答案」的东西:Twice as Fast, Until It Isn't: Quantized Serving of Mid-Size Open LLMs。三位独立研究者(Kadvani、Faujdar、Tallam)把截至 2026 年 10 月 5 日能核实的公开测量全部收拢,逐条对照原始来源核验,得出了一些可能让你意外的结论。
#vLLM#SGLang#Qwen2.5-14B-Instruct#Qwen3-14B#Gemma 3 12B#Mistral NeMo#AWQ#GPTQ#FP8#gpt-oss-20b#NVIDIA A100#NVIDIA H100