创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

FOAM将SOAP优化器状态减半并匹配基线表现

AI 总结

Jaemyung Yu、Byeongho Heo、Sangdoo Yun 和 Dongyoon Han 的论文提出轻量级 SOAP 变体 FOAM,旨在降低优化器状态内存和特征分解开销。FOAM 采用仅使用输入侧信息的预条件处理,并以基于行列统计的分解式 Adam-moment 估计器替代 SOAP 的稠密旋转二阶矩。作者报告称,在参数规模为 1.24 亿至 7.6 亿的大语言模型预训练实验中,FOAM 的验证损失可匹配强 SOAP 与 Muon 基线,优化器状态仅为 SOAP 的一半,实际运行速度达到 Muon 级别。所提供报告将这些结果作为作者实验结果,未进行独立验证。

深度见解

FOAM 针对 SOAP 带来的优化器状态内存和特征分解开销。报告结果表明,保留类似 SOAP 的训练表现未必需要 SOAP 的完整优化器状态成本,但这些结论来自作者实验,且仅限于测试的参数规模。

Computer Science > Machine Learning

arXiv:2611.16905 (cs)

[Submitted on 12 Nov 2026]

Title:Factored One-sided Adam-Moment for Practical and Scalable SOAP

Authors:Jaemyung Yu, Byeongho Heo, Sangdoo Yun, Dongyoon Han

View a PDF of the paper titled Factored One-sided Adam-Moment for Practical and Scalable SOAP, by Jaemyung Yu and 3 other authors

#FOAM#SOAP#Shampoo#Adam#AdamW#Muon#K-FAC

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。