ALPS:统一状态探测、语言对齐与像素重建的视觉状态编码器
AI 总结
八位作者于 2026 年 10 月 21 日在 arXiv 发布 ALPS,这是一种面向世界模型的预训练视觉状态编码器,试图在同一组 patch token 中同时承载物理状态信息、原生语言对齐与像素重建能力。ALPS 以 ViT-B/16 为骨干,仅使用静态图像和文本从头预训练,采用语言、重建与空间对应目标,随后通过跨视角自蒸馏精调。作者称在十五个公开编码器的统一评测中,ALPS 在 ViT-B 模型中取得最低的 LIBERO 状态探测总体误差,与体积大 3.5 倍的 V-JEPA 2-L 相当;搭配作者自研文本塔时,冻结的 ALPS token 在 LIBERO 上平均策略成功率达 85.5%。上述基准结果均为作者自测,尚无独立复现。
深度见解
论文主张世界模型的视觉底座应同时支持预测、指令与可视化检查,并报告单个 ViT-B 编码器可在状态探测上追平更大的模型。
Computer Science > Computer Vision and Pattern Recognition
arXiv:2610.30120 (cs)
[Submitted on 21 Oct 2026]
Title:ALPS: Visual State Encoders for World Models
Authors:Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie
View a PDF of the paper titled ALPS: Visual State Encoders for World Models, by Yanqing Liu and 7 other authors