Multimodal Flow统一建模语言与视觉
华中科技大学、地平线机器人等机构提出全连续架构Multimodal Flow,让语言与视觉保留各自嵌入空间,并共享同一个Flow Matching目标。团队从零预训练了1.6B参数、消耗150B Tokens的MF-1;据机器之心报道,在数据、参数和优化预算相同的对比中,其表现超过Transfusion式混合架构与Chameleon式全离散架构。项目同时公开了论文、代码和项目主页。
Multimodal Flow在完全离散Token化与混合离散—连续路线之间提供了第三种方案,以单一连续生成目标统一多种多模态任务。
机器之心 2026-11-05 16:21 北京
连续统一多模态模型的想象空间,或许才刚刚打开。
走向物理 AI 时代,构建一个能真正统一语言与视觉的多模态基座模型是关键一步。然而,语言本质上是有序的 Token 序列,视觉则是连续的高维像素分布,两者在信息结构上存在天然的鸿沟。如何在一个模型内统一这两种截然不同的分布,一直是一个备受争论的话题。
目前,主流的解法主要有两条。一条是全离散路线(如 Chameleon、Emu3),它把图像也量化成离散 Token,与语言拼在一起做自回归建模。但这种方法受限于视觉 Tokenizer,图像的高频细节在量化过程中极易丢失。另一条是混合离散 - 连续路线(如 Transfusion、JanusFlow),文本走离散预测,图像走连续扩散。虽然避开了量化瓶颈,但一个模型里得同时维护两套截然不同的目标函数和采样流程,不仅工程实现复杂,联合优化的难度也很大。
#Multimodal Flow#MF-1#Huazhong University of Science and Technology#Horizon Robotics#SigLIP2#T5-small#Chameleon#Emu3#Transfusion#JanusFlow