KronLSTM:克罗内克δ规则提升长上下文线性注意力
arXiv 于 10 月 19 日挂出论文《Kronecker Delta Rule for Long Context Linear Attention》,作者包括 Sepp Hochreiter 等六人。论文提出 KronLSTM,一种基于“克罗内克δ规则”的线性注意力架构,该规则是关联矩阵记忆的新型更新规则。作者称,KronLSTM 扩展了 xLSTM 家族,其记忆修正机制只沿矩阵空间中的单一方向修改记忆,从而减少对已存信息的干扰,理论上记忆矩阵范数在整个输入序列上一致有界,无需额外归一化。实验方面,作者报告 KronLSTM 与现有线性注意力架构(包括 (Gated) DeltaNet 系列)相比具有竞争力,且在长上下文基准上往往更优,代码与模型已开源。
该工作把可解析的稳定记忆动力学引入循环线性注意力,若其自报的长上下文结果可复现,将为 xLSTM 系谱系提供新的长上下文建模路线。
Computer Science > Machine Learning
arXiv:2610.26834 (cs)
[Submitted on 19 Oct 2026]
Title:Kronecker Delta Rule for Long Context Linear Attention
Authors:Anamaria-Roberta Hartl, Levente Zólyomi, Michael List, Günter Klambauer, Sebastian Böck, Sepp Hochreiter
View a PDF of the paper titled Kronecker Delta Rule for Long Context Linear Attention, by Anamaria-Roberta Hartl and 5 other authors
#KronLSTM#xLSTM#Kronecker Delta Rule#DeltaNet#Gated DeltaNet#Sepp Hochreiter#arXiv