创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

llama.cpp 提交轮换 K/V 读取顺序优化

AI 总结

gaugarg-nv 提交的 llama.cpp 拉取请求提议轮换 K/V 读取顺序,以提升本地大模型推理中的 L2 缓存命中率。该请求报告,在 NVIDIA GeForce RTX 5090 和 qwen35 27B Q4_K - Medium 模型上,131072 token、65536 token 和 32768 token 上下文的提示处理速度分别提升 1.41 倍、1.25 倍和 1.07 倍。在 16384 token 及更短的上下文中,报告的加速约为 1.00 倍或 1.01 倍。

深度见解

如果得到复现,这项提议可能提升 llama.cpp 的长上下文提示处理速度,但现有基准仅报告了 RTX 5090 与 qwen35 27B Q4_K - Medium 这一配置。

Significant prompt processing speedup with long contexts submitted by /u/jacek2023 [link] [comments]

#llama.cpp#Qwen#NVIDIA#NVIDIA GeForce RTX 5090

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。