SSoN揭示AI空间推理能力差距
AI 总结
普林斯顿 AI Lab 推出 Same Space or Not(SSoN)基准,要求模型从四张静态室内图像中找出违背同一场景的一张,并解释证据。据36氪和AIbase报道,在1,000道题上人类准确率为83.3%,六个受测VLM中最高的GPT-6 Astra Pro为39.7%。加入推理依据监督后,Qwen2.5-VL-7B在201道未见房间测试题上的准确率从21.89%升至41.79%。
深度见解
SSoN将跨视角空间一致性从动态交互中单独检验,揭示了显著的人机差距,同时显示相机几何信息和推理依据监督能够改善相关能力。
AI 真的能理解三维世界吗?
规划下一步动作、在杯子被挪走后及时调整、赶在环境变化前完成操作,动态任务不断向 AI 提出更复杂的空间要求。支撑这些行为的一块基础,是对眼前空间的可靠理解:物体在哪里,不同视角的观察能否彼此一致?
普林斯顿 AI Lab 的研究者们带来了一张空间智能新考卷:Same Space or Not(SSoN)。它拿掉了实时变化和动作控制,只给四张静态室内图像,让模型找出其中违背同一场景的那一张,并解释为什么。
- 项目主页:https://sson.aisexam.com/
- 论文链接:https://arxiv.org/abs/2610.23959
- 数据集:https://huggingface.co/datasets/HuiziCao/SSoN
- 代码链接:https://github.com/sson-benchmark/SSoN
- 微调权重:https://huggingface.co/HuiziCao/SSoN-Qwen2.5-VL-7B-LoRA