创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Qwen3.8-27B基准测试:8位KV缓存近乎减半

AI 总结

一名社区作者在llama.cpp、ExLlamaV3和vLLM中测试了Qwen3.8-27B的35种权重量化,并对比16位、8位以及受支持的4位KV缓存。测试集包括工具使用样本和多个领域的文本,上下文最长达64,000个token。在llama.cpp和ExLlamaV3中,8位缓存将缓存占用近乎减半,KL散度变化在任一方向均低于0.00012。vLLM的FP8缓存使KL散度增加0.0004至0.0006。作者不建议使用4位缓存:它产生了可测量的KL惩罚,且影响随上下文增长;在16,000至32,000个token处,新增KL散度比前4,000个token高约15%至30%。测试期间,vLLM不支持4位KV缓存选项。

深度见解

这些测量结果为显存有限的本地推理用户提供了实用参考,显示8位KV缓存能显著减少缓存占用,同时对输出分布的实测变化很小。测试来自一名社区作者,并非经过独立实验室验证。

#Qwen3.8-27B#llama.cpp#ExLlamaV3#vLLM#NVIDIA NVFP4#Qwen FP8

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。