用户报告在 8 GB 显存上使用 Strata 运行 Qwen 3.8 Flash Next
AI 总结
一名 Reddit 用户报告在 Linux 系统上使用 Strata 运行 Qwen 3.8 Flash Next,硬件包括配备 8 GB 显存的 RTX 5060 Laptop GPU、32 GB 内存和 SSD。该帖子记录了内存分配与调优参数,包括将专家层卸载至 SSD,并在显存和内存之间分配 KV 缓存。使用 Gyro S 量化版本时,用户报告的提示处理速度为每秒 800–1,040 个令牌,令牌生成速度为每秒 30–45 个令牌,具体数值取决于配置和上下文长度。用户还称,该模型在其基准测试和实际使用中的表现优于其测试过的 Qwen 3.6 35B A3B 微调版本和 Qwen 3.8 27B 模型。这些测量与对比仅来自该用户的系统,尚未得到独立复现。
深度见解
该报告给出了一套由用户实测的配置:在 8 GB 显存、32 GB 内存和 SSD 支持下运行一个 125B 参数模型。其具体速度和质量结果仍局限于单一系统,属于个人测试结果。
部分来源内容未展示,可前往原文继续阅读。