创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Reddit用户质疑OKLS对Muon的步数效率

AI 总结

一则Reddit帖子质疑,作为零陈旧度KL-Shampoo实现的OKLS,为何在步数效率上可能不及Muon。发帖者声称,SOAP的步数效率高于Shampoo,KL-Shampoo的步数效率高于SOAP,而OKLS只有在非常长的训练中才会在参数效率上超过Muon。所提供的帖子没有包含基准测量、实现细节或能够解答这些比较的回复。

SOAP is more step efficeint than Shampoo, and KL-Shampoo is more step efficient than SOAP.

Then how is OKLS getting outperformed by Muon in terms of step efficiency where it's a zero-staleness implementation of KL-Shampoo?

It only gets ahead of Muon in terms of parameter efficiency in very long training runs.

#OKLS#Muon#KL-Shampoo#SOAP#Shampoo

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。