LLVQ开源实现量化Qwen3三款模型
AI 总结
开发者Pier-Jean Malandrino发布了开源LLVQ的Rust实现和自研CUDA内核,并提供约2.7位每参数的Qwen3 4B、8B和14B量化文件。作者在同一台L40S上的测试称,LLVQ在相近位率下的MMLU、GSM8K和WikiText-2质量优于llama.cpp的IQ2_S,但解码速度更慢。结果目前主要为开发者自测,并受校准敏感性、硬件测试范围有限、长提示词内存占用较高等限制。
深度见解
该项目为本地运行Qwen3提供了新的低比特推理方案,报告中的质量提升值得关注,但实际价值仍取决于独立验证以及解码速度和长上下文短板能否改善。
部分来源内容未展示,可前往原文继续阅读。
#LLVQ#Qwen3#Qualcomm#CUDA#NVIDIA#llama.cpp#IQ2_S#Unsloth UD-IQ2_XXS#AWQ