创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Multimodal Flow统一建模语言与视觉

AI 总结

华中科技大学、地平线机器人等机构提出全连续架构Multimodal Flow,让语言与视觉保留各自嵌入空间,并共享同一个Flow Matching目标。团队从零预训练了1.6B参数、消耗150B Tokens的MF-1;据机器之心报道,在数据、参数和优化预算相同的对比中,其表现超过Transfusion式混合架构与Chameleon式全离散架构。项目同时公开了论文、代码和项目主页。

深度见解

Multimodal Flow在完全离散Token化与混合离散—连续路线之间提供了第三种方案,以单一连续生成目标统一多种多模态任务。

机器之心 2026-11-05 16:21 北京

连续统一多模态模型的想象空间,或许才刚刚打开。

走向物理 AI 时代,构建一个能真正统一语言与视觉的多模态基座模型是关键一步。然而,语言本质上是有序的 Token 序列,视觉则是连续的高维像素分布,两者在信息结构上存在天然的鸿沟。如何在一个模型内统一这两种截然不同的分布,一直是一个备受争论的话题。

目前,主流的解法主要有两条。一条是全离散路线(如 Chameleon、Emu3),它把图像也量化成离散 Token,与语言拼在一起做自回归建模。但这种方法受限于视觉 Tokenizer,图像的高频细节在量化过程中极易丢失。另一条是混合离散 - 连续路线(如 Transfusion、JanusFlow),文本走离散预测,图像走连续扩散。虽然避开了量化瓶颈,但一个模型里得同时维护两套截然不同的目标函数和采样流程,不仅工程实现复杂,联合优化的难度也很大。

#Multimodal Flow#MF-1#Huazhong University of Science and Technology#Horizon Robotics#SigLIP2#T5-small#Chameleon#Emu3#Transfusion#JanusFlow

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。