AReA：免训练自适应感受野注意力提升高分辨率 DiT
AI 总结
研究人员发布 AReA，一种免训练的自适应感受野注意力机制，用于高分辨率 Diffusion Transformer（DiT）图像生成。论文指出，均匀的全注意力是计算开销与画质退化的共同来源：它带来二次成本，并使模型在每一步都接触到超出训练范围的 token 数量与相对距离，从而出现结构扭曲和细节损失。AReA 让注意力感受野随去噪进程由粗到细演化——早期对下采样后的键和值做跨尺度粗注意力以形成全局结构，后期在逐步收缩的窗口内做局部注意力以精修细节。作者称，在不增加参数、不需训练的情况下，AReA 在不同目标分辨率和多个模型上一致优于现有免训练基线，同时速度更快、更高效。
深度见解
若结果可复现，这一免训练方法可让现有 DiT 以更低成本生成远超训练分辨率的图像。