测试时回归重构序列压缩
AI 总结
Sihan Yang等七名作者在技术报告中提出TTR-Compressor，以测试时回归拟合的系数表示压缩序列。该回归过程通过反向传播端到端学习，前向传播时则用闭式解计算系数；作者报告称，其在分块稀疏注意力中提升了RULER表现，并以减少55.6%视觉令牌的水平达到标准MLP合并器的性能。
深度见解
TTR-Compressor为语言模型和多模态模型中的序列压缩提供了不同于池化和学习投影的方案，但相关基准结果仍待独立验证。
Computer Science > Machine Learning
arXiv:2610.31574 (cs)
[Submitted on 22 Oct 2026]
Title:Rethinking Sequence Compression with Test-time Regression
Authors:Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong, Weiyang Liu
View a PDF of the paper titled Rethinking Sequence Compression with Test-time Regression, by Sihan Yang and 6 other authors