C++17 教程解析连续批处理与分页 KV Cache
一个个人 C++17 学习仓库在无需 GPU 和第三方依赖的情况下,讲解 vLLM 风格的连续批处理与分页 KV Cache 调度。实现涵盖请求准入、抢占后重算、后台线程并发控制、写时复制、前缀缓存、不变量检查和差分测试。作者称项目包含 61 个单元测试和 2 个压力测试,CI 覆盖 Linux/GCC、Windows/MSVC 与 ThreadSanitizer。项目被说明为与 vLLM 官方项目无关的个人学习复现,不包含其源代码。
该仓库为学习大模型推理调度、KV Cache 管理、抢占机制和并发控制提供了具体示例。测试结果与 CI 覆盖范围均为作者自述,项目也未提供真实 GPU 推理性能数据。
手写 vLLM 分页 KV Cache(一):先从 Continuous Batching 调度器看全局
系列导读:本系列采用 Top-Down(自顶向下) 的顺序拆解 vLLM 核心机制——本篇先从最上层的调度器切入,搞清楚请求如何流转、显存不足时如何抢占重算、以及多线程下如何保证并发安全;后续两篇再向下深潜到底层的物理块切分(
BlockAllocator)与共享写时复制(CoW / Prefix Cache)。 全文代码来自我的学习仓库 learn-vllm-paged-kvcache:纯 C++17、零第三方依赖、无 GPU,cmake --build之后ctest就能把本文每个结论跑一遍(61 个单测 + 2 个压力测试,覆盖 Linux/GCC、Windows/MSVC、ThreadSanitizer 三套 CI)。 注:本项目为个人学习复现,与 vLLM 官方项目无关,不含其任何源代码。
0. 先说清楚要解决什么问题
假设显存池里只有 16 个物理块,4 个请求同时在跑。
静态批处理(Static Batching)的做法是:攒一个 batch,一起 prefill,一起 decode,直到最慢的那个生成结束才统一收工。这会带来三个直接浪费:
#learn-vllm-paged-kvcache#vLLM#Continuous Batching#BlockAllocator#Copy-on-Write#Prefix Cache