SpecSlot 将图像细节与全局注意力序列长度解耦
AI 总结
一篇正在接受 ICLR 2027 评审的 22 页 arXiv 论文提出 SpecSlot，一种旨在增加频谱细节而不扩大全局注意力序列的像素空间整流流 Transformer。该模型将每个空间锚点扩展为多个槽位，各槽承载互不重叠的 DCT 系数带；仅最低频槽参与全局注意力，所有槽则进行局部交互，空间头还会为频谱预测加入局部修正。作者报告称，SpecSlot 在 ImageNet-256 上取得了与等 FLOPs 的 JiT 对照相当但收敛更快的最终 FID；在 ImageNet-512 上，FID 改善 2.84，同时少用 3.9% FLOPs；在 DPG-Bench 上则比 JiT-B/8 高 1.06，前向开销低 40.6%。这些结果均为作者报告，尚未经独立验证。
深度见解
该论文提出将低频结构的全局通信与高频细节的局部建模分开。其报告结果显示，通过局部槽位增加频谱细节可以同时伴随更低的计算成本，但相关结论仍需独立评估。
Computer Science > Computer Vision and Pattern Recognition
arXiv:2610.40647 (cs)
[Submitted on 29 Oct 2026]
Title:Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
Authors:Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu
View a PDF of the paper titled Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers, by Jiongfan Yang and 4 other authors