开发者称cudaMemcpy调优工具提升3090上的MoE预填充速度
AI 总结
开发者Maknee发布了一款调优CUDA内存复制的工具,用于加速MoE推理中的CPU卸载。在一项自测中,测试环境包括RTX 3090、Ryzen 7 7800X3D和Qwen3.6-35B-A3B-Q8_0,llama-bench预填充吞吐量从345提升至466 tokens/s。开发者同时公开了代码和基准测试设置。
深度见解
该工具直接针对MoE推理中的CPU卸载问题。公开代码和基准测试设置,使用户可以检查并复现开发者报告的测试结果。
https://i.redd.it/5dlnj6wict1i1.gif I made a tool that tunes copies that speeds up CPU offloading. 1 3090 + 7800X3D llama-bench -m Qwen3.6-35B-A3B-Q8_0.gguf -ngl 99 -fa 1 -ot exps=CPU -p 2048 -n 0 -r 3 cmt tune -- llama-bench -m Qwen3.6-35B-A3B-Q8_0.gguf -ngl 99 -fa 1 -ot exps=CPU -p 2048 -n 0 -r 3 before: prefill 345 t/s after: prefill 466 t/s blog: https://maknee.github.io/blog/2026/CudaMemcpy/ code: https://github.com/Maknee/cudamemcpy-tuner submitted by /u/makneeee
[link] [comments] |
#cudaMemcpy tuner#llama.cpp#Qwen3.6-35B-A3B#RTX 3090#AMD Ryzen 7 7800X3D