何恺明团队发布VISTA视觉原生Harness框架
AI 总结
何恺明与MIT团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生的Harness框架VISTA,不重新训练基础模型,而是让现有多模态模型保存环境原始画面,并在推理时按需回看、裁剪放大和检查像素细节。据该报道,在ARC-AGI-3全部25个公开游戏上,搭配Claude Opus 5.0的智能体相对人类动作效率得分达到满分100,所用动作数比首次游玩的人类基线少57.4%;换成GPT-5.6 Sol同样全部通关,得分99。团队还在GameWorld、AI GameStore和BabyVision上测试:使用同一GPT-5.6 Sol模型,GameWorld成功率从40.0%提升到63.3%,AI GameStore综合得分从47.3升至140.3(人类中位数归一化为100),BabyVision的39道迷宫与连线题准确率从41.0%升至63.2%。VISTA由视觉观测、无损视觉记忆和主动视觉检查三个组件组成,并用GUIDE.md与WORKING.md两份文字笔记衔接上下文窗口,未来将验证更接近物理世界的具身任务。
深度见解
如果结果可复现,这种只改变视觉信息存取方式、不改动模型本身的Harness思路,可能为多模态智能体在长程交互与具身任务中提供一条低成本路径。