OASIS为注意力残差引入空路由
西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究团队提出OASIS，在token层和depth层加入显式null选项，使Attention Residuals能够不为真实分支分配全部概率质量。新智元援引论文称，该研究被NeurIPS 2026接收；在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上，相对Vanilla AttnResidual，平均激活峰度降低95.90%。论文实验还报告，OASIS在Qwen3-0.6B的W4A4 GSM8K Pass@1上高出基线13.21个百分点，并在12K-token上下文中恢复了部分RULER和LongBench性能损失。
OASIS提供了一种明确的路由机制，用于减少注意力集中和激活异常值，并改善低比特量化与长上下文表现。
新智元 2026-10-23 09:00 北京
新智元报道
增强模型的表达能力，可以让Transformer更灵活地读取和整合信息。Attention Residuals（AttnResidual）沿着这个方向，将注意力从token之间的信息交互扩展到网络深度，让每个子层学习选择哪些历史层输出。
但新增的选择能力也带来了新的问题。在研究团队评估的AttnResidual设置中，模型对初始token的注意力集中更加明显，激活异常值也显著增大。这些变化在低比特量化和长上下文评测中，进一步表现为性能退化。
来自西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究团队提出OASIS，为这种双层信息路由提供显式的null选项，并用token层的null概率调整depth层的分支选择。该研究已被NeurIPS 2026接收。
#OASIS#Northwestern University#Illinois Institute of Technology#Rutgers University#Attention Residuals#LLaMA-3.2-1B#Qwen3-0.6B#Phi-4#RULER#LongBench