Intern Lumina U2:多码本离散扩散语言模型
AI 总结
论文提出 Intern Lumina U2,作者称这是首个在完全离散空间中表示多码本视觉 token 的扩散语言模型:每个视觉位置由来自互补码本的一组码表示,以提升表征容量,同时保持与离散文本建模的兼容。输入端在每个位置拼接嵌入,输出端用轻量级多码本自回归头依次预测同一位置内的各个码,扩散主干则并行处理所有位置。模型基于 AToken 的统一 4D 表示,在单一主干内支持图像、视频和 3D 输入;作者称其在视觉理解、图像生成与图像编辑上取得统一模型中的领先表现,并通过稳定性感知采样策略(置信度平台引导解掩码与漂移触发缓存刷新)把图像生成加速 4.45 倍。作者还表示在 Ascend 与 NVIDIA 平台上搭建了完整的训练、推理与评测系统,以验证跨平台有效性。
深度见解
该工作尝试把高容量视觉表示与文本放进同一个离散优化空间,为统一多模态扩散模型提供了一条可参考的技术路线。