llama.cpp PR在MMQ中融合MoE矩阵乘法与GLU
AI 总结
一个llama.cpp拉取请求提议在CUDA MMQ路径中融合MoE的gate/up矩阵乘法和GLU。该PR报告，在DGX Spark和RTX 5090系统上，使用多组Qwen MoE模型及量化配置时，提示处理速度提升5.7%至17.2%。现有报告无法确认该改动是否已合并或发布，基准数据也未经独立验证。
深度见解
该PR在CUDA MMQ路径中组合了特定的MoE操作，并报告了覆盖多种硬件、模型和量化配置的提示处理提升，因此可能与llama.cpp推理用户相关，但其实际影响尚未得到验证。
| download your CUDA/MoE prompt-processing speedup today: submitted by /u/jacek2023 [link] [comments] |
#llama.cpp#CUDA#NVIDIA DGX Spark#NVIDIA GeForce RTX 5090#Qwen3-30B-A3B#Qwen3.6-35B-A3B