创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Q Labs推出Dust零阶预训练方法

AI 总结

Q Labs推出Dust零阶优化方法,以逐token的随机激活扰动估计更新方向,无需标准反向传播即可训练Transformer。Q Labs称其在FineWeb上训练了最高2.43亿参数、2000万token的模型,但SOTAAZ Lab复现发现,Dust虽基本可复现,却未显示明显优势,且计算成本远高于反向传播。

深度见解

Dust证明了不使用标准反向传播预训练Transformer的可行性,可为包含不可微模块或外部程序的网络提供训练路径,但现有结果尚不足以证明它能实际替代反向传播。

原创 机器之心 2026-10-26 14:13 北京

对「苦涩的教训」的又一次致敬?

编辑|张倩

训练大模型,能不能不用反向传播?

#Q Labs#Dust#Transformer#FineWeb#EGGROLL#SOTAAZ Lab

原文约 11 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。