四卡Tesla V100推理跑赢DGX Spark
AI 总结
YouTuber Jun Yamog 用一块 NVLink 载板把四块 2017 年的 NVIDIA Tesla V100（32GB HBM2、900GB/s 带宽）组装成一台本地推理机器，并用改装后的 A100 散热器为每块卡散热。他以 4-bit 量化的 Qwen3.8-Flash-Next 进行测试：长提示词处理比两台 DGX Spark 快约 40%，比单台 M5 Ultra 快约 230%；短提示词生成环节达到 100.6 tok/s，比两台 DGX Spark 快约 121%，而 M5 Ultra 为 44.5 tok/s。作为参照，另一位 YouTuber 的 8 块 RTX PRO 6000 配置在多数项目中仍居首，Yamog 也指出 Apple Silicon 的差距可能主要来自软件优化不足。
深度见解
说明老一代数据中心 GPU 在二手市场上仍能以较低成本承担本地大模型推理，也提醒对比结果高度依赖具体配置与软件优化。