Qwen3.8-27B 低比特量化引入 SSD 预填模型
AI 总结
r/LocalLLaMA 上一则帖子介绍了 ISTA-DASLab 的演示：用一个从 SSD 流式加载的预填（prefiller）模型，在保持低显存占用与较快解码的同时，弥补 Qwen3.8-27B 低比特量化的精度损失。帖子称配套图表展示的是 MMLU-Pro 准确率，模型发布在 Hugging Face 的 ISTA-DASLab/Qwen3.8-27B-NVFP4-prefiller 页面。发帖者说明运行需要 Nvidia Blackwell GPU，因此自己并未实测；对于超过约 4k 的上下文，其“与不用预填模型相比没有速度损失”的说法也只是预期，尚未验证。
深度见解
该演示针对的是低比特量化省显存却损失精度这一常见取舍，发帖者称预填模型能在保留低显存与快速解码的同时找回精度。
| This demo from ISTA-DASLab recovers low quant accuracy while retaining low VRAM usage and fast decoding. It needs a Nvidia Blackwell GPU to run, so I have not tested it. For context longer than ~4k there should be no speed penalty compare to running without the prefiller model. Graph shows MMLU-Pro accuracy. Huggingface🤗: https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-NVFP4-prefiller submitted by /u/magnus-m [link] [comments] |