Kimi K3的KDA缓存适配解析
AI 总结
掘金人工智能的源码分析指出,Kimi K3 将可按 token 寻址的 MLA 历史与 KDA 卷积状态、循环状态结合起来。因此,前缀缓存不能再只是复用 KV 块,而要在同一前缀边界恢复语义一致的一组模型状态。文章对比了 SGLang 的 KDA checkpoint 与统一内存方案,以及 vLLM 的状态块、细粒度部分命中和保留策略。
深度见解
这项分析表明,面向 Kimi K3 的推理服务需要把前缀复用改造成状态恢复问题,并维护状态边界、所有权与生命周期的一致性。