Qwen3.8-27B基准测试:8位KV缓存近乎减半
AI 总结
一名社区作者在llama.cpp、ExLlamaV3和vLLM中测试了Qwen3.8-27B的35种权重量化,并对比16位、8位以及受支持的4位KV缓存。测试集包括工具使用样本和多个领域的文本,上下文最长达64,000个token。在llama.cpp和ExLlamaV3中,8位缓存将缓存占用近乎减半,KL散度变化在任一方向均低于0.00012。vLLM的FP8缓存使KL散度增加0.0004至0.0006。作者不建议使用4位缓存:它产生了可测量的KL惩罚,且影响随上下文增长;在16,000至32,000个token处,新增KL散度比前4,000个token高约15%至30%。测试期间,vLLM不支持4位KV缓存选项。
深度见解
这些测量结果为显存有限的本地推理用户提供了实用参考,显示8位KV缓存能显著减少缓存占用,同时对输出分布的实测变化很小。测试来自一名社区作者,并非经过独立实验室验证。