llama.cpp 提案移除 QSA 的 kq_mask
AI 总结
sanmai 在 llama.cpp 提交了一项拉取请求，提议为 qwen4exp 分支构建不带 kq_mask 的 QSA 选择。报告称，该方法运行 Qwen Flash Next 时可节省数 GB 显存，并将其描述为 Strata 更充分利用专家缓存的方式之一。
深度见解
据报告，该提案旨在降低 Qwen Flash Next 的显存使用，并被描述为改善专家缓存利用。
| gigabytes of VRAM saved (Qwen Flash Next) "This is one of the things Strata does to squeeze the most juice from the experts' cache." submitted by /u/jacek2023 [link] [comments] |