三值 Nemotron 30B-A3B GGUF 模型仓库分享
AI 总结
一则 r/LocalLLaMA 帖子所指向的 Hugging Face 仓库提供名为 Ternary Nemotron 30B-A3B 的 GGUF 模型。提交者称这是一款三值、1.58-bit 混合专家模型，可在 12 GB GPU 上运行，支持 368K token 上下文，解码速度为每秒 172 token，预填充速度超过每秒 7,000 token。帖子称同一文件可用于原版 llama.cpp 和 PrismML/Bonsai 分支，并列出了分别完成验证的具体构建版本。
深度见解
该仓库将 30B-A3B 混合专家设计与三值量化结合起来，并声称兼容两种本地推理引擎选项。
| Ternary Nemotron 30B-A3B — 368K Context on 12 GB GPU (GGUF) A ternary (1.58-bit) 30B-A3B MoE model that runs on a 12 GB GPU with 368K context, 172 tok/s decode and 7000+ tok/s prefill — in both Stock llama.cpp and the PrismML fork. One file, both engines. submitted by /u/pmttyji [link] [comments] |
#Ternary Nemotron 3.5 Lightning 30B-A3B GGUF#boro64#llama.cpp#PrismML#Bonsai