Tesla V100 四卡推理胜过 DGX Spark
AI 总结
YouTube 频道 Jun Yamog 于 10 月 12 日发布测试，将 4 张 2017 年发布的英伟达 Tesla V100 数据中心 GPU 装在 NVLink 载板上，运行 4-bit 量化的 Qwen3.8-Flash-Next 模型。测试称，长提示处理速度较两台 DGX Spark 快 40%、较搭载 M5 Ultra 的 Mac Studio 快 230%；短提示处理同样快 40% 与 163%。短提示 Token 生成方面，4 卡 V100 达到 100.6 tok/s，比两台 DGX Spark 快 121%，M5 Ultra 为 44.5 tok/s。测试者指出，与 Apple Silicon 的差距可能部分源于软件优化不足。
深度见解
这属于单次爱好者实测，但说明旧款数据中心 GPU 在特定推理负载下仍可提供可观的吞吐量。