一篇非官方技术文章介绍Attention Residuals如何以可学习的注意力机制，在模型深度维度选择历史层或历史块，从而替代固定的残差聚合。文章涵盖数学原理、相关残差路由方案、对其所引Kimi Team技术报告消融结果的梳理、伪代码与项目代码对照，以及该机制同Kimi K3注意力、MLP组件的关系。文章还将AttnRes映射到SGLang和vLLM实现，并介绍一个仅使用CPU、无需GPU及大规模训练的轻量复刻。复刻组件会在可用时缩小，在没有开源版本时采用近似方案，因此不等同于完整的Kimi K3实现。