yeasah 发布 Qwen3.8-27B 6bpw 量化版
AI 总结
据 Reddit 帖子及其链接的模型列表，yeasah 发布了 Qwen3.8-27B 的 6bpw EXL3 量化版本。帖文列出的对比数据显示，其平均 KLD 为 0.0002、文件大小为 23 GB，权重占用 18.8 GiB 显存，是该表所列结果中 KLD 最低的版本。
深度见解
这些压缩与保真度数据可为本地部署 Qwen3.8-27B 的用户提供量化版本对比参考，但目前尚未经过独立验证。
Noticed this new EXL3 quant of 3.8-27B which achieves lowest KLD than anyone else and does it using only 18.8 GiB VRAM for weights. Pretty impressive numbers!
https://huggingface.co/yeasah/Qwen3.8-27B-exl3
| maker | quant | KLD mean | file size |
|---|---|---|---|
| yeasah | 6bpw | 0.0002 | 23 GB |
| Unsloth | Q8_K_XL | 0.0005 | 31.5 GB |
| Minachist | INT8 AutoRound attn-bf16 | 0.00056 | 36.9 GB |
| turboderp | 6bpw SC | 0.0006 | 23 GB |
submitted by /u/suprjami [link] [comments]