创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Edge0-145B权重NAS冷读慢51倍

AI 总结

一项工作站测试显示,同一份105,368,210,944字节的文件从本地NVMe冷读需18.3秒,从千兆NAS读取则需15.6分钟,后者约慢51倍。依据作者引用的官方模型卡,报告建议将51.20 GB词表层放在本地SSD,并将40.08 GB专家库放入系统内存或高速本地NVMe。作者没有下载、加载或运行Edge0-145B,因此报告未提供实测推理吞吐、延迟或内存占用。

深度见解

该测试给出了Edge0-145B权重分层存放的具体建议,同时表明所谓“慢51倍”衡量的是文件读取差异,而非模型推理性能。

DGX Spark 完整教程,Edge0-145B 98GB 分三层

结论先行:官方把 40GB 放内存、48GB 放 SSD,赌的是命中率,不是带宽

这句判断来自一次实测量出来的数:同一份 105,368,210,944 字节的文件,同一台工作站,放本机 NVMe 冷读 18.3 秒,放 NAS 15.6 分钟。

环境、命令、量出来的数都在下面,可以直接照着重跑。

权重下完,98GB 躺在盘上,多数人的下一步都一样:把路径填进启动命令,然后等。

我今天只把「路径填哪」这一段单独拿出来量了一遍。

#Edge0-145B#Edge0-145B-q3k#Edge0-145B-NVFP4#NVIDIA DGX Spark

原文约 10 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。