NeurIPS'26：注意力也是FFN？北邮提出MiTA
AI 总结
北京邮电大学团队提出的 Mixture-of-Top-k Attention（MiTA）已被 NeurIPS 2026 接收，论文（arXiv 2602.01219）与代码均已公开。该工作把标准注意力展开为一个快权重 FFN——权重由当前输入生成、隐藏层宽度随序列长度增长——并据此归纳出压缩与路由两条扩展路线及五维分类框架。MiTA 用少量地标查询构造 m 个可复用 Top-k 路由专家和 1 个全局共享专家，ImageNet-1K 上 DeiT-S 取得 79.8% Top-1（完整注意力为 79.9%）；论文称在单张 24GB RTX 4090 上 LRA 平均准确率 58.91%（完整注意力 58.19%），总训练时间从 10.6 小时降至 2.4 小时，并报告在 64K、256K、1024K 序列长度下推理吞吐量约为完整注意力的 19 倍、56 倍和 159 倍。
深度见解
如果注意力确实可视为一个随上下文变宽的快权重网络，这种统一视角可能为长上下文模型的效率设计提供一组可复用的设计维度。
MiTABeijing University of Posts and TelecommunicationsNeurIPS 2026