Q Labs推出Dust零阶预训练方法
AI 总结
Q Labs推出Dust零阶优化方法,以逐token的随机激活扰动估计更新方向,无需标准反向传播即可训练Transformer。Q Labs称其在FineWeb上训练了最高2.43亿参数、2000万token的模型,但SOTAAZ Lab复现发现,Dust虽基本可复现,却未显示明显优势,且计算成本远高于反向传播。
深度见解
Dust证明了不使用标准反向传播预训练Transformer的可行性,可为包含不可微模块或外部程序的网络提供训练路径,但现有结果尚不足以证明它能实际替代反向传播。
原创 机器之心 2026-10-26 14:13 北京
对「苦涩的教训」的又一次致敬?
编辑|张倩
训练大模型,能不能不用反向传播?