创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

社区测试:QEngine 1.3.1 解码达 504 tok/s

AI 总结

一名 r/LocalLLaMA 用户称,QEngine 1.3.1 在双 RTX 5090 上运行 Qwen3.8-Flash-Next,单流解码达到 406–504 tok/s。测试显示,其智能体提示延迟与 Strata 相当,10K 上下文预填充更快,但 90K 时 Strata 领先。作者提醒,重复提示和自适应专家缓存使解码成绩接近最佳情况,RAM 与显存模式对比也只各测试了一次启动和一遍流程。

深度见解

该报告提供了硬件、量化版本、编译改动、延迟数据和质量检查等细节,对本地推理社区有参考价值,但最高解码速度仅来自一次社区测试,并非受控的独立基准。

#QEngine 1.3.1#Qwen3.8-Flash-Next#Strata#vLLM#ThinkingCap 27B#RTX 5090

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。