Edge0-145B权重NAS冷读慢51倍
AI 总结
一项工作站测试显示,同一份105,368,210,944字节的文件从本地NVMe冷读需18.3秒,从千兆NAS读取则需15.6分钟,后者约慢51倍。依据作者引用的官方模型卡,报告建议将51.20 GB词表层放在本地SSD,并将40.08 GB专家库放入系统内存或高速本地NVMe。作者没有下载、加载或运行Edge0-145B,因此报告未提供实测推理吞吐、延迟或内存占用。
深度见解
该测试给出了Edge0-145B权重分层存放的具体建议,同时表明所谓“慢51倍”衡量的是文件读取差异,而非模型推理性能。
DGX Spark 完整教程,Edge0-145B 98GB 分三层
结论先行:官方把 40GB 放内存、48GB 放 SSD,赌的是命中率,不是带宽
这句判断来自一次实测量出来的数:同一份 105,368,210,944 字节的文件,同一台工作站,放本机 NVMe 冷读 18.3 秒,放 NAS 15.6 分钟。
环境、命令、量出来的数都在下面,可以直接照着重跑。
权重下完,98GB 躺在盘上,多数人的下一步都一样:把路径填进启动命令,然后等。
我今天只把「路径填哪」这一段单独拿出来量了一遍。
#Edge0-145B#Edge0-145B-q3k#Edge0-145B-NVFP4#NVIDIA DGX Spark