用户称Qwen-Flash-Next推理接近每秒400 token
AI 总结
一名 Reddit 用户称，其构建的推理引擎可在旧款 Dell R740 中三块 32GB NVIDIA V100 GPU 上，以接近每秒 400 个 token 的速度运行 Qwen-Flash-Next。该引擎最初基于 Strata 分叉而来，其内部代码经过重写，以适配较老的 Volta 架构。这一性能说法尚未获得独立验证，帖子提供的技术细节也较少。
深度见解
如果结果可复现，该方案将有助于在较旧的 NVIDIA 硬件上高效本地部署 Qwen-Flash-Next，但目前证据仅来自单一用户说法。