FOAM将SOAP优化器状态减半并匹配基线表现
AI 总结
Jaemyung Yu、Byeongho Heo、Sangdoo Yun 和 Dongyoon Han 的论文提出轻量级 SOAP 变体 FOAM,旨在降低优化器状态内存和特征分解开销。FOAM 采用仅使用输入侧信息的预条件处理,并以基于行列统计的分解式 Adam-moment 估计器替代 SOAP 的稠密旋转二阶矩。作者报告称,在参数规模为 1.24 亿至 7.6 亿的大语言模型预训练实验中,FOAM 的验证损失可匹配强 SOAP 与 Muon 基线,优化器状态仅为 SOAP 的一半,实际运行速度达到 Muon 级别。所提供报告将这些结果作为作者实验结果,未进行独立验证。
深度见解
FOAM 针对 SOAP 带来的优化器状态内存和特征分解开销。报告结果表明,保留类似 SOAP 的训练表现未必需要 SOAP 的完整优化器状态成本,但这些结论来自作者实验,且仅限于测试的参数规模。
Computer Science > Machine Learning
arXiv:2611.16905 (cs)
[Submitted on 12 Nov 2026]
Title:Factored One-sided Adam-Moment for Practical and Scalable SOAP
Authors:Jaemyung Yu, Byeongho Heo, Sangdoo Yun, Dongyoon Han
View a PDF of the paper titled Factored One-sided Adam-Moment for Practical and Scalable SOAP, by Jaemyung Yu and 3 other authors