创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Nace 发布开源 KQuant Qwen MLX 包

AI 总结

Nace 发布了免费开源的标准 MLX 格式 KQuant 包,覆盖 Qwen3.5-4B、Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B-A3B 和 Qwen3.8-Flash-Next。根据开发方的测量,这些包与全精度下一词元预测之间的 KL 散度最高可比所引用的公开 4 位基线低 3.7 倍。在 M5 Pro 上,使用 Kapitsa 0.2.35 和 KFlash 草稿器的部分模型被报告写入速度快 6% 至 15%,但基线测试使用的是更早的 Kapitsa 版本。这些包无需自定义内核或专用加载器。GGUF 版本仍在测试,计划公开发布。

深度见解

此次发布为 Mac 上的本地 Qwen 使用提供了标准 MLX 构建,并公布了开发方测得的保真度和部分写入速度结果。KL 测量反映的是与全精度预测的相似程度,并非任务准确率分数。

#Nace#KQuant#Qwen#MLX#Hugging Face#Kapitsa#KFlash#Qwen3.5-4B#Qwen3.5-9B#Qwen3.8-27B#Qwen3.6-35B-A3B#Qwen3.8-Flash-Next

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。