ALLOT：无需训练的视频DiT块稀疏注意力分配方法
arXiv 新论文提出 ALLOT（Allocating Layer-step Latency by Output Tests），一种面向视频 Diffusion Transformer 的免训练块稀疏注意力分配方法，作者为 Tianze Xia 等六人。作者观察到，在不同层和不同去噪步上进行注意力稀疏化，对最终视频保真度的影响差异很大，而最敏感的“层—步”组合在不同输入之间几乎不变。ALLOT 把每个“层—步”单元视为一个 cell，通过单元探测与轨迹校准估计其对最终视频误差的贡献，并在实测延迟预算下联合优化各单元密度；论文称在 HunyuanVideo 上于相同或更短的实际耗时下相较 XAttention 取得 11.8 dB 的 PSNR 提升，并在 Wan2.1、Wan2.2 与 HunyuanVideo 的九个设置中全部优于或持平默认方案。
作者表示 ALLOT 保留现有的选择策略与算子、只替换分配环节，因此可直接叠加到已有的稀疏注意力视频生成流程中，而无需重新训练。
Computer Science > Computer Vision and Pattern Recognition
arXiv:2610.29441 (cs)
[Submitted on 21 Oct 2026]
Title:Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
Authors:Tianze Xia, Xiaoling Zhou, Ruya Lan, Yiqiao Liao, Chengru Song, Shiming Xiang
View a PDF of the paper titled Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers, by Tianze Xia and 5 other authors