Nace 发布开源 KQuant Qwen MLX 包
AI 总结
Nace 发布了免费开源的标准 MLX 格式 KQuant 包,覆盖 Qwen3.5-4B、Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B-A3B 和 Qwen3.8-Flash-Next。根据开发方的测量,这些包与全精度下一词元预测之间的 KL 散度最高可比所引用的公开 4 位基线低 3.7 倍。在 M5 Pro 上,使用 Kapitsa 0.2.35 和 KFlash 草稿器的部分模型被报告写入速度快 6% 至 15%,但基线测试使用的是更早的 Kapitsa 版本。这些包无需自定义内核或专用加载器。GGUF 版本仍在测试,计划公开发布。
深度见解
此次发布为 Mac 上的本地 Qwen 使用提供了标准 MLX 构建,并公布了开发方测得的保真度和部分写入速度结果。KL 测量反映的是与全精度预测的相似程度,并非任务准确率分数。
#Nace#KQuant#Qwen#MLX#Hugging Face#Kapitsa#KFlash#Qwen3.5-4B#Qwen3.5-9B#Qwen3.8-27B#Qwen3.6-35B-A3B#Qwen3.8-Flash-Next