长上下文混合注意力架构研究
AI 总结
机器之心报道，复旦大学、上海创智学院邱锡鹏团队系统比较了RoPE/NoPE全注意力、滑窗注意力和门控线性注意力混合架构。研究在376M至3B参数模型上发现长度外推与长文续训之间存在取舍，并提出滑窗线性注意力以改善外推能力。团队还分析了带位置偏置与无位置偏置注意力模块的协作机制。
深度见解
这项研究系统揭示了不同长上下文注意力组件的互补关系，并提出改善长度外推的训练与推理策略。
机器之心 2026-11-01 12:00 四川
混合架构为什么有效，以及怎样设计得更有效？
本文第一作者柳潇然，复旦大学、上海创智学院 2022 级硕博连读生，导师邱锡鹏、何子薇。研究方向为长上下文大语言模型，曾在 ICLR、ICML、AAAI、EMNLP 等国际顶级人工智能会议发表论文十余篇。
背景介绍
#Fudan University#Shanghai Innovation Institute#OpenMOSS#RoPE#NoPE#Sliding-Window Attention#Gated Linear Attention#Gated DeltaNet#Sliding-Window Linear Attention