Latent Compaction：测试时训练压缩KV缓存
AI 总结
一篇 arXiv 论文提出 Latent Compaction，通过测试时训练为每篇文档学习一份紧凑的 KV 缓存，以缓解长上下文带来的显存占用与注意力开销。方法先用重构重要性、教师注意力和键空间多样性初始化缓存条目，再让缓存对齐完整缓存的注意力输出与 log-normalizer，随后通过全缓存模型的端到端蒸馏联合优化整个缓存；模型权重全程冻结，训练只使用关于文档的通用提示，不接触下游问题或答案。作者称在 RULER、LongBench 与 Phonebook Lookup 上，该方法优于同等预算的压缩基线，例如 RULER 上 32× 压缩达到 96.7% 准确率，而 KVZip+ 为 40.0%。论文还称方法可跨模型规模与家族迁移，在 Qwen3 和 MiniCPM5 上均取得检索增益，代码已公开。
深度见解
若结果可复现，长上下文推理的显存与注意力成本有望在检索准确率损失很小的情况下大幅下降。