SparseDecoding：面向解码的LLM剪枝框架
AI 总结
该论文提出 SparseDecoding，一种面向解码阶段的免训练网络剪枝框架。它用在稠密模型自回归生成过程（不含 prefill）中收集的逐层激活来构建校准矩阵，使剪枝目标与解码时的激活分布对齐，并配套开发了带位掩码索引与固定步长遍历的 N:M 稀疏矩阵-向量内核。作者称在 Llama-3.1-8B、Llama-3.3-70B 与 Qwen3-14B/32B 上，长文本生成基准效果优于固定文本校准，在 A100 GPU 上实现最高 1.48 倍的端到端解码加速。
深度见解
它指出传统 Hessian 剪枝用自然文本校准、却在实际解码激活上评估的分布偏移问题，并尝试用更贴合解码的稀疏内核把理论收益转化为实测速度。
Computer Science > Machine Learning
arXiv:2610.12327 (cs)
[Submitted on 8 Oct 2026]
Title:SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference
Authors:Qitong Wang, Xinwei Niu, Mingluo Su, Shanwei Zhao, Shiai Zhu, Huan Wang
View a PDF of the paper titled SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference, by Qitong Wang and 5 other authors
#SparseDecoding#Llama-3.1-8B#Llama-3.3-70B#Qwen3-14B#Qwen3-32B#NVIDIA A100