创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

LLVQ开源实现量化Qwen3三款模型

AI 总结

开发者Pier-Jean Malandrino发布了开源LLVQ的Rust实现和自研CUDA内核,并提供约2.7位每参数的Qwen3 4B、8B和14B量化文件。作者在同一台L40S上的测试称,LLVQ在相近位率下的MMLU、GSM8K和WikiText-2质量优于llama.cpp的IQ2_S,但解码速度更慢。结果目前主要为开发者自测,并受校准敏感性、硬件测试范围有限、长提示词内存占用较高等限制。

深度见解

该项目为本地运行Qwen3提供了新的低比特推理方案,报告中的质量提升值得关注,但实际价值仍取决于独立验证以及解码速度和长上下文短板能否改善。

部分来源内容未展示,可前往原文继续阅读。

#LLVQ#Qwen3#Qualcomm#CUDA#NVIDIA#llama.cpp#IQ2_S#Unsloth UD-IQ2_XXS#AWQ

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。