创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

C++17项目实现分页KV Cache机制

AI 总结

个人学习项目learn-vllm-paged-kvcache的第二篇实现了物理块分配、Block Table、Slot Mapping、引用计数和前缀缓存复用,并解释这些分页KV Cache管理机制。项目采用无第三方依赖的C++17,以确定性整数模拟替代GPU张量;作者称其包含61个单元测试、2个压力测试及三套CI,但相关结果尚无独立验证。

深度见解

该项目为理解vLLM式KV Cache内存管理提供了可在CPU上运行和测试的参考实现,但它是独立学习复现,并非vLLM官方实现或发布。

手写 vLLM 分页 KV Cache(二):深入物理块分配、Block Table 与 Slot Mapping

系列导读:本系列采用 Top-Down(自顶向下) 的顺序拆解 vLLM 核心机制。在第一篇《手写 Continuous Batching 调度器》中,我们站在全局视角看清了请求如何流转、显存不足时如何抢占重算;本篇向下深潜一层,把“KV Cache 在显存里如何切块、如何通过页表寻址、以及物理块分配器如何管理生命周期”从零推演一遍;第三篇再展开跨请求共享与写时复制(CoW)。 全文代码来自我的学习仓库 learn-vllm-paged-kvcache:纯 C++17、零第三方依赖、无需 GPU,cmake --build 之后 ctest 就能把本文每个结论跑一遍(61 个单测 + 2 个压力测试,覆盖 Linux/GCC、Windows/MSVC、ThreadSanitizer 三套 CI)。 注:本项目为个人学习复现,与 vLLM 官方项目无关,不含其任何源代码。


0. 先看一眼要解决的问题

Transformer 在 decode 阶段有一个核心特征:生成第 ttt 个 token 时,前面 t−1t - 1t−1 个 token 的 Key 和 Value 向量完全不变。因此没有任何推理引擎会每步重算整个历史前缀——把算过的 K/V 缓存下来,每步只计算新增那一个 token 的 K/V,再与历史缓存做注意力计算(Attention)。

#learn-vllm-paged-kvcache#vLLM

原文约 19 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。