llama.cpp 张量切分在 PCIe 3.0 x1 下显现潜力
AI 总结
一项社区测试在两块 RTX 3060 12GB 上运行 Gemma 4 31B Q5，结果显示 llama.cpp 从层切分切换到张量切分后，吞吐量从每秒 14 个 token 升至 20 个，增幅为 42%，且第二块 GPU 通过 PCIe 3.0 x1 连接。作者表示仍在等待电源升级，因此未对该家庭配置进行充分测试。另一项使用两块 RTX 5060 Ti 16GB 和 PCIe Gen 3 x8 链路的测试中，张量切分在提示词生成阶段达到每秒 20.7 个 token，而层切分为 11.7 个；解码期间实测双向传输速率约为每秒 90 至 110 MB。作者提醒，这些结果不能证明 PCIe 3.0 x1 没有性能损失，而且平均吞吐量无法反映延迟、同步开销或短传输突发。
深度见解
这些初步社区数据可为多 GPU llama.cpp 部署提供实用参考，但家庭配置尚未充分测试、独立实验采用 PCIe x8 链路，且延迟和同步效应仍不明确，因此限制了结论的确定性。
#llama.cpp#Gemma 4 31B Q5#L3.1 Nemotron Sunfall 71B IQ3_XS#NVIDIA RTX 3060#NVIDIA RTX 5060 Ti#Intel Core i5-14400F