创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

llama.cpp 经 NAS 加载模型远慢于本地 NVMe

AI 总结

丘山录的本地测试显示,读取同一份 475.25 GiB 权重时,板载 NVMe 耗时 39.6 秒,本地 SSD 耗时 114 秒,而经 1 Gb 链路的 NAS 需要 1 小时 13 分 40 秒。在同一磁盘上仅调整单次读取大小,1 MB 块耗时 125.1 秒,128 MB 块耗时 39.7 秒;NAS 的吞吐则主要受网络链路限制。分片合并测试显示,该操作能提升读取性能,且在 SMB 上的收益比本地 NVMe 更明显。

深度见解

这些实测为 llama.cpp 部署中的模型存储位置、读取块大小和分片布局提供了可复跑的方法,但结论仅适用于所测硬件,单次运行结果也不构成完整精度评估。

llama.cpp 完整教程,放错盘读一遍多等 1 小时

结论先行:把模型塞 NAS 省空间的人,省的是硬盘钱,付的是每次 73 分钟的等待——这笔账算不过来,瓶颈在链路不在容量

这句判断来自一次实测量出来的数:同一份 475.25 GiB 权重,躺在同一块盘上,什么都不换,只改每次读多少字节,125.1 秒变成 39.7 秒。

环境、命令、量出来的数都在下面,可以直接照着重跑。

模型下载完,多数人的下一步是直接敲 llama-cli -m 模型.gguf。

我今天把「下载完到跑起来」中间那一段拆开量了一遍。

#llama.cpp#NVIDIA DGX Spark#NVIDIA GeForce RTX 5090 D#Intel SSDPF2KX019T1M

原文约 11 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。