llama.cpp CUDA PR 融合 FFN 运算并报告提速
AI 总结
llama.cpp 拉取请求 #29948 提议在 MMQ 中融合 CUDA FFN 的 gate/up 矩阵乘法与 GLU，并交错排列 gate/up 行。其 llama-bench 结果显示，在 NVIDIA DGX Spark 和 RTX 5090 上，所列 Qwen3.8-27B、Qwen3.6-27B 和 Llama-3.1-8B 量化版本较 master 提升 1.9%–10.7%。测试启用了全 GPU 卸载、Flash Attention、16,384 token 提示词，并重复五次。
深度见解
基准结果显示，这项内核优化在所测模型、量化版本和 NVIDIA 硬件配置下均提高了 token 吞吐量，表明其在报告条件下带来了可测量的性能改善。
time to download some speedup
DGX Spark (GB10), llama-bench -ngl 999 -fa on -p 16384 -n 0 -b 2048 -ub 2048 -ctk f16 -ctv f16 -r 5, tok/s:
RTX 5090, llama-bench -ngl 999 -fa on -p 16384 -n 0 -b 2048 -ub 2048 -ctk f16 -ctv f16 -r 5, tok/s: submitted by /u/jacek2023
[link] [comments] |
#llama.cpp#NVIDIA DGX Spark#NVIDIA RTX 5090#Qwen3.8-27B#Qwen3.6-27B#Llama-3.1-8B