llama.cpp 提交轮换 K/V 读取顺序优化
AI 总结
gaugarg-nv 提交的 llama.cpp 拉取请求提议轮换 K/V 读取顺序,以提升本地大模型推理中的 L2 缓存命中率。该请求报告,在 NVIDIA GeForce RTX 5090 和 qwen35 27B Q4_K - Medium 模型上,131072 token、65536 token 和 32768 token 上下文的提示处理速度分别提升 1.41 倍、1.25 倍和 1.07 倍。在 16384 token 及更短的上下文中,报告的加速约为 1.00 倍或 1.01 倍。
深度见解
如果得到复现,这项提议可能提升 llama.cpp 的长上下文提示处理速度,但现有基准仅报告了 RTX 5090 与 qwen35 27B Q4_K - Medium 这一配置。
| Significant prompt processing speedup with long contexts submitted by /u/jacek2023 [link] [comments] |