PACE以四位循环状态降低模型内存
AI 总结
Patrick Haller、Filipe Laitenberger 和 Alan Akbik 提出 PACE，这是一种面向线性注意力语言模型的后训练四位状态量化器。作者称，PACE 仅每隔若干生成令牌才舍入状态，在列内共享量化尺度，并让易产生误差的注意力头保持八位精度。在四个 4B 至 35B 参数的混合模型上，作者报告混合四/八位 PACE 在三个较大模型上可与八位 DAMP 竞争，同时内存约为其三分之二。
深度见解
论文称，更低精度的循环状态可让单加速器同时解码更多序列，并在多个混合模型上兼顾质量、内存占用与解码速度。
Computer Science > Computation and Language
arXiv:2610.29545 (cs)
[Submitted on 21 Oct 2026]
Title:PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
Authors:Patrick Haller, Filipe Laitenberger, Alan Akbik
View a PDF of the paper titled PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States, by Patrick Haller and 2 other authors