社区测试:QEngine 1.3.1 解码达 504 tok/s
AI 总结
一名 r/LocalLLaMA 用户称,QEngine 1.3.1 在双 RTX 5090 上运行 Qwen3.8-Flash-Next,单流解码达到 406–504 tok/s。测试显示,其智能体提示延迟与 Strata 相当,10K 上下文预填充更快,但 90K 时 Strata 领先。作者提醒,重复提示和自适应专家缓存使解码成绩接近最佳情况,RAM 与显存模式对比也只各测试了一次启动和一遍流程。
深度见解
该报告提供了硬件、量化版本、编译改动、延迟数据和质量检查等细节,对本地推理社区有参考价值,但最高解码速度仅来自一次社区测试,并非受控的独立基准。