创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

C++17复现vLLM分页KV缓存机制

AI 总结

文章介绍个人C++17学习项目的第三篇内容,在不使用vLLM官方源代码的情况下复现其分页KV缓存机制。实现涵盖引用计数、写时复制隔离、链式前缀缓存与惰性失效,作者也列出了线性空闲链表扫描、缺少LRU淘汰等限制。作者称项目通过61个单元测试和2个压力测试,但未提供独立验证结果。

深度见解

该项目以可运行代码讲解推理系统如何安全共享KV缓存块,但测试与行为结论主要来自作者自述,尚无独立验证。

手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存

系列导读(全系列收官篇):本系列采用 Top-Down(自顶向下) 的顺序拆解 vLLM 核心机制。在第一篇《Continuous Batching 调度器》中,我们从全局视角看清了请求如何准入、抢占与并发调度;在第二篇《物理块分配与地址映射》中,我们把 KV Cache 切成了固定大小的物理块,并做出了 block_table 页表;本篇作为系列收官之作,正式补齐最后一块拼图——物理块如何被多条序列零拷贝共享、共享块写入时如何通过写时复制(CoW)隔离修改,以及前缀缓存(Prefix Cache)如何实现跨请求匹配与惰性失效。 全文代码来自我的学习仓库 learn-vllm-paged-kvcache:纯 C++17、零第三方依赖、无需 GPU,cmake --build 之后 ctest 就能把本文每一项结论跑一遍(61 个单测 + 2 个压力测试,覆盖 Linux/GCC、Windows/MSVC、ThreadSanitizer 三套 CI)。 注:本项目为个人学习复现,与 vLLM 官方项目无关,不含其任何源代码。

#vLLM#learn-vllm-paged-kvcache

原文约 21 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。