创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Reddit 用户称 Speedy 性能胜过 Avalon 与 Strata

AI 总结

一名 Reddit 用户称,本地大模型推理引擎 Speedy 在 60K、120K 和 198K 上下文下,冷预填充、读取速度及完整交互总耗时均优于 Avalon。测试使用 RTX 4090、128 GB DDR5-3600 内存和 Ryzen 9 7950X,采用 ISTA IQ3_S 量化;据称 Speedy 的生成速度比 Strata 快约 45%,也略快于 Avalon。这些数据未经独立验证。

深度见解

该帖提供了面向长上下文本地推理工具的具体测试信号,但结果仅来自单个用户的自测,仍属于未经独立验证的社区报告。

I had just finished setting up avalon, then i found speedy, which crushed avalon.

https://github.com/freriadoc/Avalon https://github.com/DevDock-AI/Speedy

Hardware: 4090, 128gb ddr5 3600, ryzen 9 7950x

ISTA IQ3_S quant:

ContextReading: cold prefill sReading: reported tok/sWriting: generation tok/sWhole exchange: wall s
60KStrata 54.7 / Avalon 22.4 / Speedy 13.7Strata — / Avalon 2678 / Speedy 4389Strata 75.0 / Avalon 102.5 / Speedy 110.0Strata 66.6 / Avalon 32.1 / Speedy 23.9
120KStrata 110.7 / Avalon 42.1 / Speedy 26.0Strata — / Avalon 2849 / Speedy 4622Strata 71.8 / Avalon 101.6 / Speedy 105.8Strata 123.2 / Avalon 52.0 / Speedy 37.0
198KStrata 187.2 / Avalon 71.2 / Speedy 44.1Strata — / Avalon 2779 / Speedy 4494Strata 71.9 / Avalon 103.0 / Speedy 104.3Strata 199.8 / Avalon 81.5 / Speedy 56.1
ContextWriting Strata -> SpeedyWriting Avalon -> SpeedyReading Strata -> SpeedyReading Avalon -> SpeedyWall Strata -> SpeedyWall Avalon -> Speedy
60K+47%+7%4.0x1.6x64% shorter26% shorter
120K+47%+4%4.3x1.6x70% shorter29% shorter
198K+45%+1%4.2x1.6x72% shorter31% shorter

#Speedy#Avalon#Strata#qwen3.8 FN#NVIDIA GeForce RTX 4090#AMD Ryzen 9 7950X

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。