GLM-Omni研究视觉知识向语言迁移
AI 总结
清华大学与智谱 AI 的联合论文首次披露了内部模型 GLM-Omni,智谱首席科学家唐杰担任通讯作者。在 MagicWorld 实验中,GLM-Omni 的平均图像生成正确率为54%,文字问答正确率仅14.57%;图文交错对齐将文字正确率提高至26.86%,视觉思维链进一步提高至41.14%。论文未说明 GLM-Omni 对应哪个产品版本。
深度见解
实验表明,视觉生成学到的知识不会自动转化为语言回答能力,而图文联合训练与先生成图像再作答在受控测试中提升了迁移表现。
导语:图像生成正确率 54%,文字问答仅 14.57%。

图像生成正确率 54%,文字问答仅 14.57%。
作者丨郑佳美
编辑丨岑 峰
智谱内部的 GLM-Omni,先在一篇论文里露了面。
#Tsinghua University#Zhipu AI#GLM-Omni#GLM-4.1V-Thinking#X-Omni#MagicWorld#BAGEL#ByteDance#SenseNova-U1#SenseTime