创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

ALPS:统一状态探测、语言对齐与像素重建的视觉状态编码器

AI 总结

八位作者于 2026 年 10 月 21 日在 arXiv 发布 ALPS,这是一种面向世界模型的预训练视觉状态编码器,试图在同一组 patch token 中同时承载物理状态信息、原生语言对齐与像素重建能力。ALPS 以 ViT-B/16 为骨干,仅使用静态图像和文本从头预训练,采用语言、重建与空间对应目标,随后通过跨视角自蒸馏精调。作者称在十五个公开编码器的统一评测中,ALPS 在 ViT-B 模型中取得最低的 LIBERO 状态探测总体误差,与体积大 3.5 倍的 V-JEPA 2-L 相当;搭配作者自研文本塔时,冻结的 ALPS token 在 LIBERO 上平均策略成功率达 85.5%。上述基准结果均为作者自测,尚无独立复现。

深度见解

论文主张世界模型的视觉底座应同时支持预测、指令与可视化检查,并报告单个 ViT-B 编码器可在状态探测上追平更大的模型。

Computer Science > Computer Vision and Pattern Recognition

arXiv:2610.30120 (cs)

[Submitted on 21 Oct 2026]

Title:ALPS: Visual State Encoders for World Models

Authors:Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie

View a PDF of the paper titled ALPS: Visual State Encoders for World Models, by Yanqing Liu and 7 other authors

#ALPS#V-JEPA 2-L#LIBERO#ViT-B/16#PushT#arXiv

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。