创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Kimi K3的KDA缓存适配解析

AI 总结

掘金人工智能的源码分析指出,Kimi K3 将可按 token 寻址的 MLA 历史与 KDA 卷积状态、循环状态结合起来。因此,前缀缓存不能再只是复用 KV 块,而要在同一前缀边界恢复语义一致的一组模型状态。文章对比了 SGLang 的 KDA checkpoint 与统一内存方案,以及 vLLM 的状态块、细粒度部分命中和保留策略。

深度见解

这项分析表明,面向 Kimi K3 的推理服务需要把前缀复用改造成状态恢复问题,并维护状态边界、所有权与生命周期的一致性。

部分来源内容未展示,可前往原文继续阅读。

#Kimi K3#KDA#SGLang#vLLM#MLA#Mooncake

原文约 22 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。