AIR调度面向权重归一化训练中的有效学习率
AI 总结
一篇arXiv预印本提出AIR（Affine Inverse-square-Root decay），这是一种以有效学习率而非仅以名义学习率为目标的调度方法。AIR将理论推导的平方根反比衰减与仿射调整结合，以满足指定的峰值和终止学习率。作者报告称，在1280亿Token的Mixture-of-Experts预训练中，AIR在训练损失、下游性能和超参数稳健性方面优于cosine等候选调度；在累计学习率匹配时，其终止训练损失约比cosine低0.01。
深度见解
论文报告称，匹配有效学习率轨迹后，权重归一化与权重衰减的训练损失动态大体重合，这为将有效学习率作为更符合原理的调度对象提供了依据。
Computer Science > Machine Learning
arXiv:2610.40362 (cs)
[Submitted on 29 Oct 2026]
Title:Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training
Authors:Qifan Yu, Xinyu Ma, Xingyan Bin, Di He
View a PDF of the paper titled Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training, by Qifan Yu and 3 other authors