创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

开发者称cudaMemcpy调优工具提升3090上的MoE预填充速度

AI 总结

开发者Maknee发布了一款调优CUDA内存复制的工具,用于加速MoE推理中的CPU卸载。在一项自测中,测试环境包括RTX 3090、Ryzen 7 7800X3D和Qwen3.6-35B-A3B-Q8_0,llama-bench预填充吞吐量从345提升至466 tokens/s。开发者同时公开了代码和基准测试设置。

深度见解

该工具直接针对MoE推理中的CPU卸载问题。公开代码和基准测试设置,使用户可以检查并复现开发者报告的测试结果。

https://i.redd.it/5dlnj6wict1i1.gif I made a tool that tunes copies that speeds up CPU offloading. 1 3090 + 7800X3D llama-bench -m Qwen3.6-35B-A3B-Q8_0.gguf -ngl 99 -fa 1 -ot exps=CPU -p 2048 -n 0 -r 3 cmt tune -- llama-bench -m Qwen3.6-35B-A3B-Q8_0.gguf -ngl 99 -fa 1 -ot exps=CPU -p 2048 -n 0 -r 3 before: prefill 345 t/s after: prefill 466 t/s blog: https://maknee.github.io/blog/2026/CudaMemcpy/ code: https://github.com/Maknee/cudamemcpy-tuner submitted by /u/makneeee [link] [comments]

#cudaMemcpy tuner#llama.cpp#Qwen3.6-35B-A3B#RTX 3090#AMD Ryzen 7 7800X3D

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。