Reddit 用户实测 Qwen 3.8 Flash Next 本地推理
AI 总结
一名 Reddit 用户称,在配备 64GB 内存和 RTX 5090 的 CachyOS 系统中,通过 Basalt 运行 Qwen 3.8 Flash Next 的 NVFP4 版本。用户报告解码速度为每秒 200 个 token、预填充约为每秒 9000 个 token,并支持 256K 上下文;Windows 11 的内存占用则拖慢了性能。
深度见解
该帖提供了量化 Qwen 模型在高端消费级硬件上的本地推理配置与实测数据,可为相似部署环境提供参考。