RAVEL：免训练预测视觉编码器表现
AI 总结
机器之心报道了一项关于多模态大模型（MLLM）视觉编码器选型的研究：团队将 70 种视觉编码器配置分别与 Qwen3-1.7B、Qwen2.5-1.5B 和 SmolLM2-1.7B 组合，采用统一的 LLaVA 式两阶段训练，共训练 210 个 MLLM，并在 11 个下游基准上评测。实验发现，随着候选视觉编码器的数量与多样性增加，现有跨模态评测指标的预测能力会明显下降，甚至不如只看视觉编码器自身表现的单模态方法。为此团队提出免训练方法 RAVEL：它比较图像侧与文本侧表征空间中近邻关系的一致性，为候选编码器打分，并加入带稳定项的 PCA 白化和图像块级相似度匹配两项改进。作者称在三个 LLM 上，RAVEL 的评分与实际下游表现的平均 Spearman 相关系数达 0.85，比需要训练的 Alignment Probing 高 36.1%，比免训练方法 GW 和 MutualNN 分别高 93.5% 和 101.1%。代码、论文以及 210 个 MLLM 权重均已开源。
深度见解
它提供了一种低成本、免训练的方式，在投入大规模跨模态对齐训练之前筛选视觉编码器，并公开了可复用的模型库。
机器之心 2026-10-17 12:41 北京
如何在完整训练 MLLM 之前，为目标 LLM 选择合适的视觉编码器？
视觉编码器是多模态大模型（MLLM）的核心组件之一。即使使用相同的大语言模型（LLM），不同的视觉编码器也可能带来显著不同的下游表现。要找到最合适的视觉编码器，最直接的方法是将候选编码器逐一接入 LLM，完成跨模态对齐训练后进行评测，但这一过程需要大量计算资源。因此，如何在完整训练之前准确预测视觉编码器的下游表现，成为一个重要的研究问题。