RTX 5090上三款NVFP4推理引擎对比
AI 总结
一位 Reddit 用户在 r/LocalLLaMA 发帖，在单张 32 GB NVIDIA RTX 5090 上对比 basalt、capy-flash 和 ninfer-ext 三款 NVFP4 推理引擎运行 Qwen3.8-Flash-Next 的表现，以 16k 为步长扫描至完整的 262,144 token 上下文，开启 MTP 投机解码并使用 int8 KV 缓存，并称前缀缓存命中为零。帖子称 basalt 在每个上下文深度都最快，预填充 8.1k–9.2k tok/s、贪心解码 176–265 tok/s；capy-flash 第二，为 6.8k–8.0k tok/s 与 138–198 tok/s；ninfer-ext 第三，为 4.2k–6.3k tok/s 与 73–106 tok/s。作者还称在 temperature 1.0 采样下每个引擎的解码吞吐下降 7–10%，而预填充不受影响，并且调优会显著改变结果；这些数据均为单一用户的测量，未经独立验证。
深度见解
该帖给出了同一模型与硬件下三款社区 NVFP4 引擎的全上下文单卡数据，并报告针对各引擎的调优会明显改变解码吞吐——basalt 在 33k/131k 上下文下从出厂设置的 122/114 tok/s 提升到调整 CPU 工作线程与内存设置后的 248/228 tok/s。
| Qwen3.8-Flash-Next NVFP4 on one RTX 5090 - prefill and decode against context Full 262,144-token context, one request at a time, MTP speculation on, int8 KV, identical test for all three engines. Every number is tokens/second. Prefill = prompt tokens / time to first token. Decode = generated tokens / decode time. The fastest engine in each row is in bold. Each data point is a fresh, non-repeating prompt: the servers reported zero prefix-cache hits. Engine configuration (after tuning) Greedy decoding, temperature 0 Prefill, tokens/s Decode, tokens/s Sampled decoding, temperature 1.0, top_p 0.95, top_k 20 Prefill, tokens/s Decode, tokens/s Summary across all 16 points MTP draft acceptance, mean over the 16 points Headline Tuning that changed the result submitted by /u/giveen [link] [comments] |
#Qwen3.8-Flash-Next#NVIDIA RTX 5090#basalt#capy-flash#ninfer-ext#Intel Core Ultra 9 285K