创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

用户报告在 8 GB 显存上使用 Strata 运行 Qwen 3.8 Flash Next

AI 总结

一名 Reddit 用户报告在 Linux 系统上使用 Strata 运行 Qwen 3.8 Flash Next,硬件包括配备 8 GB 显存的 RTX 5060 Laptop GPU、32 GB 内存和 SSD。该帖子记录了内存分配与调优参数,包括将专家层卸载至 SSD,并在显存和内存之间分配 KV 缓存。使用 Gyro S 量化版本时,用户报告的提示处理速度为每秒 800–1,040 个令牌,令牌生成速度为每秒 30–45 个令牌,具体数值取决于配置和上下文长度。用户还称,该模型在其基准测试和实际使用中的表现优于其测试过的 Qwen 3.6 35B A3B 微调版本和 Qwen 3.8 27B 模型。这些测量与对比仅来自该用户的系统,尚未得到独立复现。

深度见解

该报告给出了一套由用户实测的配置:在 8 GB 显存、32 GB 内存和 SSD 支持下运行一个 125B 参数模型。其具体速度和质量结果仍局限于单一系统,属于个人测试结果。

部分来源内容未展示,可前往原文继续阅读。

#Qwen 3.8 Flash Next#Strata#Gyro S

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。