LoopVQ实现低于1位KV缓存量化
AI 总结
Minsoo Cheong和Sungjoo Yoo的论文提出LoopVQ，一种面向循环式Transformer的KV缓存向量量化方法，可联合编码多个循环步骤的通道，并微调码本以匹配全精度模型输出。作者称，在0.5位每元素下，LoopVQ使用Ouro和Huginn在通用、长链式思维推理及长上下文检索任务上优于现有向量量化方法。其SGLang实现将32K-token上下文的解码延迟近乎减半，并在1.4B和2.6B Ouro模型上相对BF16基线将峰值服务吞吐量分别最高提升4.3倍和6.1倍。
深度见解
LoopVQ针对重复循环步骤导致KV缓存线性增长的内存瓶颈，且论文报告了已落地的SGLang实现、更低延迟和更高服务吞吐量。
Computer Science > Machine Learning
arXiv:2611.05304 (cs)
[Submitted on 3 Nov 2026]
Title:LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
Authors:Minsoo Cheong, Sungjoo Yoo
View a PDF of the paper titled LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers, by Minsoo Cheong and 1 other authors