Halcyon：不依赖语言预训练的文本生图模型
arXiv 于 10 月 19 日挂出一篇论文《Text-to-Image Generative Modeling Without Language Pretraining》，作者包括 Keshigeyan Chandrasegaran、Li Fei-Fei、Michael Poli 等。研究团队提出 Halcyon 系列早期融合多模态自回归模型，完全从零开始在一个包含 1 亿图文对的 GPIC 数据集上预训练，用来检验语言预训练对文生图是否必要。论文称 Halcyon-0.52B 以 18.2 倍更少的预训练算力在 gFD 指标上优于 LlamaGen-XL/8（48.0 对 63.3），Halcyon-1.6B 以 275 倍更少算力优于 JiT-T2I-XXL/8++（35.3 对 41.0），受控实验显示仅文本预训练并未提升文生图效果，代码与模型已公开。
论文结论认为，无需互联网规模的语言预训练也能训练出强文生图系统，这一说法若成立将挑战当前主流的“语言预训练再迁移”路线。
Computer Science > Machine Learning
arXiv:2610.26863 (cs)
[Submitted on 19 Oct 2026]
Title:Text-to-Image Generative Modeling Without Language Pretraining
Authors:Keshigeyan Chandrasegaran, Yue Zhao, Armin W. Thomas, Ehsan Adeli, Jiajun Wu, Juan Carlos Niebles, Li Fei-Fei, Michael Poli
View a PDF of the paper titled Text-to-Image Generative Modeling Without Language Pretraining, by Keshigeyan Chandrasegaran and 7 other authors