预印本报告文本与图像生成间的零样本引导迁移
AI 总结
一篇发布于 arXiv 的预印本报告，在多个统一多模态模型中，从一种模态获得的引导向量可零样本迁移至另一种模态。作者报告了文本生成图像与图像生成文本之间的双向迁移，测试概念包括情绪和物体大小。研究认为，引导可提供超越表征相似性等相关性分析的因果检验；尽管文本与图像表征之间存在模态差距，具有较强跨模态迁移能力的向量在同一概念上往往指向相似方向。该预印本附有代码、数据和演示链接；现有报告未列出所评估的具体模型。
深度见解
报告中的迁移结果表明，统一多模态模型中的部分可控概念可能由文本和图像两种模态共享，为理解生成过程中视觉与语言如何交互提供了证据。
Computer Science > Computer Vision and Pattern Recognition
arXiv:2610.36269 (cs)
[Submitted on 26 Oct 2026]
Title:Cross-modal Steering Vectors Exist Across Both Image and Text Generation
Authors:Donghao Zeng (1), Nishant Subramani (2), Tamar Rott Shaham (3), Benno Krojer (1 and 4) ((1) Mila, McGill University, (2) Carnegie Mellon University, (3) MIT CSAIL, (4) Northeastern University)
View a PDF of the paper titled Cross-modal Steering Vectors Exist Across Both Image and Text Generation, by Donghao Zeng (1) and 7 other authors
#Mila#McGill University#Carnegie Mellon University#MIT CSAIL#Northeastern University