纯CPU复刻解析Kimi K3注意力残差(第二篇)
AI 总结
与Kimi K3相关的Attention Residuals纯CPU复刻系列第二篇解析了打分核、Full与Block变体以及AttnResState的生命周期。文章还介绍了两阶段online-softmax算法,并解释面向生产环境的SGLang fused kernel原理。没有开源版本的组件采用近似实现,论文中的25组配置架构实验并未复现。
深度见解
该项目为各主要组件提供无需GPU即可直接运行的Gradio演示,并详细说明Attention Residuals的实现与状态管理,使相关机制更便于检查。
【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理(2)
- 0x00 概要
- 0x01 子知识点拆解
- 0x02 子知识点深度分析
- 2.0 共享抽象与设计动机
- 2.1 打分核(scoring kernel)与伪查询
- 2.2 Full AttnRes
- 2.3 Block AttnRes
- 2.4 状态机(AttnResState —— 深度历史如何在层间流动)
- 2.5 online-softmax 两阶段算法(论文 Algorithm 1)
- 2.6 生产级 fused kernel 原理(SGLang;TMA + online softmax + 通信融合)
- 2.7 对比对象 —— mHC(Manifold-Constrained Hyper-Connections)
- 2.8 基础设施:跨阶段缓存 + 高效 Prefill(论文 §4)
- 2.9 学到的深度注意模式(论文 §5.4.2,Fig. 8)
- 2.10 统一视角:残差连接作为结构化矩阵(论文 §6.2,Table 5)
- 2.11 最优架构分析(论文 §5.4.1,Fig. 7)
- 0xFF 参考
部分来源内容未展示,可前往原文继续阅读。
#Attention Residuals#Kimi K3#AttnResState#SGLang#mHC#Manifold-Constrained Hyper-Connections#Gradio