创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

C++17 教程解析连续批处理与分页 KV Cache

AI 总结

一个个人 C++17 学习仓库在无需 GPU 和第三方依赖的情况下,讲解 vLLM 风格的连续批处理与分页 KV Cache 调度。实现涵盖请求准入、抢占后重算、后台线程并发控制、写时复制、前缀缓存、不变量检查和差分测试。作者称项目包含 61 个单元测试和 2 个压力测试,CI 覆盖 Linux/GCC、Windows/MSVC 与 ThreadSanitizer。项目被说明为与 vLLM 官方项目无关的个人学习复现,不包含其源代码。

深度见解

该仓库为学习大模型推理调度、KV Cache 管理、抢占机制和并发控制提供了具体示例。测试结果与 CI 覆盖范围均为作者自述,项目也未提供真实 GPU 推理性能数据。

手写 vLLM 分页 KV Cache(一):先从 Continuous Batching 调度器看全局

系列导读:本系列采用 Top-Down(自顶向下) 的顺序拆解 vLLM 核心机制——本篇先从最上层的调度器切入,搞清楚请求如何流转、显存不足时如何抢占重算、以及多线程下如何保证并发安全;后续两篇再向下深潜到底层的物理块切分(BlockAllocator)与共享写时复制(CoW / Prefix Cache)。 全文代码来自我的学习仓库 learn-vllm-paged-kvcache:纯 C++17、零第三方依赖、无 GPU,cmake --build 之后 ctest 就能把本文每个结论跑一遍(61 个单测 + 2 个压力测试,覆盖 Linux/GCC、Windows/MSVC、ThreadSanitizer 三套 CI)。 注:本项目为个人学习复现,与 vLLM 官方项目无关,不含其任何源代码。


0. 先说清楚要解决什么问题

假设显存池里只有 16 个物理块,4 个请求同时在跑。

静态批处理(Static Batching)的做法是:攒一个 batch,一起 prefill,一起 decode,直到最慢的那个生成结束才统一收工。这会带来三个直接浪费:

#learn-vllm-paged-kvcache#vLLM#Continuous Batching#BlockAllocator#Copy-on-Write#Prefix Cache

原文约 21 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。