llama.cpp 经 NAS 加载模型远慢于本地 NVMe
AI 总结
丘山录的本地测试显示,读取同一份 475.25 GiB 权重时,板载 NVMe 耗时 39.6 秒,本地 SSD 耗时 114 秒,而经 1 Gb 链路的 NAS 需要 1 小时 13 分 40 秒。在同一磁盘上仅调整单次读取大小,1 MB 块耗时 125.1 秒,128 MB 块耗时 39.7 秒;NAS 的吞吐则主要受网络链路限制。分片合并测试显示,该操作能提升读取性能,且在 SMB 上的收益比本地 NVMe 更明显。
深度见解
这些实测为 llama.cpp 部署中的模型存储位置、读取块大小和分片布局提供了可复跑的方法,但结论仅适用于所测硬件,单次运行结果也不构成完整精度评估。
llama.cpp 完整教程,放错盘读一遍多等 1 小时
结论先行:把模型塞 NAS 省空间的人,省的是硬盘钱,付的是每次 73 分钟的等待——这笔账算不过来,瓶颈在链路不在容量
这句判断来自一次实测量出来的数:同一份 475.25 GiB 权重,躺在同一块盘上,什么都不换,只改每次读多少字节,125.1 秒变成 39.7 秒。
环境、命令、量出来的数都在下面,可以直接照着重跑。
模型下载完,多数人的下一步是直接敲 llama-cli -m 模型.gguf。
我今天把「下载完到跑起来」中间那一段拆开量了一遍。
#llama.cpp#NVIDIA DGX Spark#NVIDIA GeForce RTX 5090 D#Intel SSDPF2KX019T1M