Basalt 0.2.0 发布:新增 NVFP4-DQ8 量化与质量数据
AI 总结
Basalt 开发者在 r/LocalLLaMA 发布消息称,面向 Qwen 3.8 Flash Next 的 Blackwell 专用推理引擎更新至 0.2.0,Hugging Face 上新增 NVFP4-DQ8 量化版本,KLD 为 0.0561,优于默认 NVFP4-DQ6_K 的 0.0624,代价是散文生成速度约慢 7%。质量评测以 Unsloth 的 BF16 GGUF 经 llama.cpp 提供的全精度模型为参考(参考 PPL 3.2749),用 basalt-bench --quality 打分,Basalt Q8 的 KLD 为 0.0200、top-1 相同率 95.34%。在 RTX 5090 加 RTX 5060 Ti 16GB、128GB DDR5 内存的测试机上,开发者报告结构化输出约 603.7 至 594.2 tokens/s,散文约 295.0 至 299.9 tokens/s,64K prefill 约 10,221 至 10,229 tokens/s。.basalt 文件格式升级为第 2 版,旧文件可通过迁移工具转换而无需重新下载。
深度见解
这次更新为本地部署提供了可参考的实测数据:在消费级 Blackwell 显卡上实现数百 tokens/s 的结构化输出,同时新增 DQ8 版本提供质量与速度的权衡,格式迁移也让存量权重文件免于重新下载。
#Basalt#Qwen 3.8 Flash Next#Unsloth#llama.cpp#basalt-bench#Hugging Face#NVIDIA Blackwell#RTX 5090#RTX 5060 Ti