Nanbeige4.3-33B GGUF量化版覆盖35.2GB至13.7GB
AI 总结
r/LocalLLaMA的一则帖子展示了Nanbeige4.3-33B的多档量化GGUF构建，文件大小约从35.2GB到13.7GB。帖子称20.3GB的AD-IQ4_XS版本适合32GB硬件，并报告其相对BF16的top-1结果为92.0%，但测试方法与结果尚未得到独立验证。
深度见解
帖子列出的量化档位为本地部署提供了具体的文件大小选择，其中包括面向32GB硬件的20.3GB AD-IQ4_XS构建。
| Quant ladder of Nanbeige's new 33B model from 35.2GB down to 13.7GB For 32GB hardware the sweet spot is 20.3GB AD-IQ4_XS with a top-1% of 92.0% compared to BF16 submitted by /u/gladkos [link] [comments] |