论文称近零嵌入或致门控模型训练停滞
AI 总结
Xin Liu及五位共同作者的论文调查了291个开放权重语言模型仓库，发现52.6%的非绑定门控及混合检查点包含范数低于10^-6的可达输入嵌入，而权重绑定模型中这一比例为0%。作者报告称，在Mamba、Gated DeltaNet和xLSTM等门控序列模型中，近零嵌入可能放大输入梯度，导致FP32裁剪溢出至无穷大并丢弃当前批次的梯度。在Nemotron-3-Nano-4B的泰卢固语持续预训练中，论文报告称约20%的训练步骤丢失了更新。作者提出GroupClip用于已发布的检查点，并提出GateFloor用于预训练；实验显示，这些方法可恢复更新、减少近零梯度，且困惑度与基线相当。
深度见解
该论文指出近零嵌入可能中断门控序列模型更新的具体机制，并针对模型生命周期的不同阶段报告了两种修复方案。
Computer Science > Machine Learning
arXiv:2611.04449 (cs)
[Submitted on 3 Nov 2026]
Title:Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models
Authors:Xin Liu, Boyuan Sun, Yuxin Wang, Haoran Song, Mingjian Zhao, Mengyu Liu
View a PDF of the paper titled Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models, by Xin Liu and 5 other authors
#Mamba#Gated DeltaNet#xLSTM#Nemotron-3-Nano-4B#GroupClip#GateFloor#PyTorch#Hugging Face Trainer#FSDP2#AdamW