研究测试模型升级后的 KV 缓存复用
一项报告所述的研究测试了新版 checkpoint 能否直接复用旧模型生成的 KV 缓存,覆盖四组模型更新。在可复用前缀缓存已经就绪的情况下,报告给出的首 token 延迟中位加速在 HotpotQA 上为 5.08 倍、MultiFieldQA-en 上为 2.51 倍、2WikiMQA 上为 2.10 倍;但 BABILong 为 0.86 倍,即比基线更慢。复用结果差异很大:DeepSeek-V4.1-Flash 至 Flash-1017 的有害翻转率为 0.53%,而 Qwen3-30B-A3B 至 Instruct-2507 达到 78.30%。报告称,加速数据未计入旧模型预填充和启动成本,研究也未公开代码及数据构建脚本。
这些结果为推理和 RAG 工程师判断是否在模型升级时清除缓存提供了实测依据:直接复用可能显著节省预填充时间,也可能因模型更新和任务类型不同而严重损害检索准确率。
💡 一句话总结:一篇实测研究把「模型升级后 KV Cache 要不要清」从玄学变成了可测量的决策问题——同家族新模型直接复用旧缓存,检索强的模型近乎无损还能白拿 2.10×–5.08× 的首 token 加速,检索弱的(Qwen)则从 55% 崩到 13%。做推理服务、长上下文应用的工程师值得花十分钟看完。
先问一个可能戳到你的问题:你辛苦搭的那套长前缀缓存——系统提示词、RAG 的检索文档、高频指令模板——上一次模型升级的时候,是不是全被清掉了?
清得对吗?没人知道。因为新版模型的权重变了,旧缓存是用旧权重算出来的,直接喂给新模型,会发生什么全凭直觉。推理框架(SGLang 之类)的做法简单粗暴:版本一变,缓存全部失效,长上下文场景全额重算一遍 prefill。钱就这么烧掉了。
但直觉真的可靠吗?最近一项研究把这个问题钉在了实验台上,专挑了当下最典型的发布节奏——同底座、后训练迭代的模型更新来测。结论比想象中有趣得多:有的模型近乎白捡 5 倍加速,有的直接翻车。论文标题很直白:Can KV Cache Be Reused Across Model Updates? A DeepSeek-V4-Flash Case Study(arXiv 2611.14051)。
#DeepSeek-V4-Flash#DeepSeek-V4-Flash-Base#DeepSeek-V4.1-Flash#DeepSeek-V4-Flash-1017#GLM-5.3#Qwen3-30B-A3B#Qwen3-30B-A3B-Instruct-2507