开发者用 RTX 5090 跑 DeepSeek V4.1 Flash IQ1_S，解码 53.6 tok/s
AI 总结
一位开发者在 r/LocalLLaMA 发帖称，其在自研推理引擎 Basalt 中运行了采用 Unsloth UD-IQ1_S 量化的 DeepSeek V4.1 Flash 1017，硬件为 RTX 5090 加 RTX 5060 Ti 16 GB 和 128 GB DDR5。将全部 107 GiB 专家权重放在内存、以 5090 作为专家缓存时，解码速度达 53.6 tok/s，预填充约 610 tok/s；相同硬件与量化下，llama.cpp PR #30817 基线约为 20 tok/s。让 5060 Ti 参与计算部分专家后解码升至 63.5 tok/s，但作者表示尚未测 PPL/KLD 质量指标，只验证了测试提示上与 llama.cpp 的贪婪解码一致性。
深度见解
该帖提供了一个早期且自报的数据点，展示如何在消费级 GPU 上通过专家卸载运行大型量化模型，同时作者明确表示质量测量尚待进行。
Been working over the last few days getting DeepSeek V4.1 Flash 1017 (Unsloth UD-IQ1_S) running in Basalt (inference engine I'm developing).
Specs: RTX 5090 (400W) + RTX 5060 Ti 16 GB (180W), 128 GB DDR5.
Methodology:
- Single 243 GB file (weights + vision + drafter). Engram table on SSD.
- All experts (107 GiB) in RAM. 5090 as an expert cache (hottest experts) and later also tried hoding and computing some experts in the 5060 Ti for a performance boost.
- Prefill tested with a 6.2k-token prompt (my daily harness).
- Baseline was llama.cpp PR #30817 with --fit, same hardware and quant.
Results:
| Setup | Decode | Prefill warm / cold |
|---|---|---|
| llama.cpp --fit | ~20 tok/s | – |
| 5090, all experts in RAM | 53.6 tok/s | 610 / 595 tok/s |
| 5090 + 5060 Ti computing its own experts | 63.5 tok/s | 610 / 610 tok/s* |
#DeepSeek#DeepSeek V4.1 Flash#Unsloth#Basalt#llama.cpp#NVIDIA GeForce RTX 5090#NVIDIA GeForce RTX 5060 Ti