V-CoLA：面向线性注意力的视觉token压缩
AI 总结
V-CoLA 是一种无需训练的视觉 token 压缩框架，专为采用线性注意力的混合架构（论文以 Qwen3.5 为例）设计：它引入“独特性感知重要性准则”筛选关键视觉 token，并用自适应 token 合并策略完成压缩，同时在实现层面对线性注意力的分块并行保持兼容。论文称，在多个基准上仅保留 50% 视觉 token 即可达到原性能的 99.5%，保留 12.5% 时仍超过 88%，prefill 提速 1.86 倍至 6.15 倍。作者指出，此前面向 softmax 注意力的基于注意力或相似度的压缩方法在这种新架构下性能明显退化。
深度见解
若结果可复现，线性注意力视觉语言模型处理长视觉上下文时的推理开销有望大幅下降。
Computer Science > Computer Vision and Pattern Recognition
arXiv:2610.11251 (cs)
[Submitted on 8 Oct 2026]
Title:V-CoLA: Vision Token Compression with Linear Attention
Authors:Hao Jiang, Yiru Mao, Tianpeng Bu, Hao Zhou, Hongtao Duan, Wang Jing, Bowen Xu, Xin Chen, Lulu Hu, Bin Yang, Yongliang Tao, Minying Zhang
View a PDF of the paper titled V-CoLA: Vision Token Compression with Linear Attention, by Hao Jiang and 11 other authors