4张 Radeon R9700 运行 Qwen3.8 Flash-Next 约 190 tok/s
AI 总结
Reddit 用户 /u/Anarchaotic 发布了四张 Radeon R9700（3 张 Gigabyte、1 张 XFX，均限制在 210W）运行 Radiance v1.17.0 与 qwen3.8-next-flash-fp8-iq4r-moe.rad 模型的初步基准数据，环境为 Ubuntu 26.04.1 与 ROCm 10.1。客户端实测显示：单用户写出速度约 190 tok/s，预填充总计约 6,800 tok/s 且与用户数无关，智能体追问的首 token 延迟为 0.2 至 2.5 秒、每用户 80 至 225 tok/s，前缀缓存命中率达 94% 至 99%。最差情况下 8 个同时发起的全新 128K 提示约需 151 秒才出首 token，预填充期间中间两张卡热点温度达 91°C、显存温度 92°C。
深度见解
这份数据给出了基于 ROCm 的四卡本地推理服务器在长上下文、多用户智能体工作负载下的实际表现，展示了冷启动预填充延迟与缓存追问速度之间的取舍。