社区用户发布 Comet 60B A12B GGUF 转换版
AI 总结
Reddit 用户 /u/Felladrin 将 Multiverse Computing 的 Comet 60B A12B BF16 模型转换为 GGUF，据称可在原生 llama.cpp 上运行。Q4_K_M 和 Q8_0 文件分别为 42.6 GB 和 64.2 GB，并保留 MTP 头，可通过 llama-server 的 --spec-type draft-mtp 选项进行推测解码。由于未转换视觉塔，这些版本仅支持文本。
深度见解
这些转换版为 60B 稀疏模型的本地 llama.cpp 部署提供了新选择，并保留 MTP 推测解码能力，但目前尚无独立验证或基准测试。
I wanted to try MultiverseComputingCAI/Comet_60B_A12B_BF16 (Multiverse Computing's compressed version of Nemotron 3.5 Super), so I converted it to GGUF, and it runs on stock llama.cpp:
They keep the MTP head, so you can pass --spec-type draft-mtp to llama-server for speculative decoding.
Just sharing, so you can try it too. Note that these GGUFs are text only (the vision tower wasn't converted). submitted by /u/Felladrin
[link] [comments] |
#Multiverse Computing#Comet 60B A12B#Nemotron 3.5 Super#llama.cpp#llama-server