苹果发表三模态掩码扩散模型研究
AI 总结
苹果机器学习研究团队在 NeurIPS 发表论文，首次从零预训练三模态掩码扩散模型（MDM），同时在文本、图文和音频-文本数据上进行训练。研究系统分析了多模态缩放规律、模态混合比例、噪声调度与批大小影响，并提出一种基于随机微分方程（SDE）的重参数化方法，把按算力选择的物理批大小与用于平衡梯度方差的逻辑批大小解耦。团队还预训练了一个 3B 参数、6.4T token 的初步模型，在文本生成、文生图和文生语音任务上取得较强结果，论文称这是迄今规模最大的多模态离散扩散模型系统性开放研究。
深度见解
离散扩散被视为自回归语言模型之外的一条技术路线，该研究公开了多模态离散扩散的训练与缩放细节，为统一多模态生成模型提供可参考的规模规律。