CogGym以258项心理实验评测50个模型
AI 总结
据掘金 · 人工智能报道,MIT牵头、多所高校参与的CogGym将258项认知科学实验转换为任务无关的EML统一格式,并用50个大模型与真实人类作答进行对比。最佳模型在文本、图像和视频上的R²分别为0.59、0.58和0.43,低于人类信度的0.93、0.95和0.92。模型表现随规模提升,但常识推理进步慢于数学和编程,且重复采样得到的分布比人类更尖锐。
深度见解
CogGym量化展示了模型行为与人类反应之间的距离,说明形式推理成绩突出并不等同于具备同等水平的常识能力。
💡 一句话总结:数学考试 AI 已经超越人类,但「理解人类怎么想」这件事呢?MIT 团队把认知科学几十年积累的 258 个经典实验标准化成统一考卷,让 50 个大模型和人类同场竞技:模型确实越来越像人,但天花板还有很远——而且「常识」这一科的成绩增长明显掉队于数学和编程。所有「AI 达到人类水平」的说法,都该先过这张考卷。
导语:「像人」不是感觉,是可测量的科学问题
「GPT 像人一样思考吗?」——这类争论通常止于各说各话的感觉。认知科学的回答方式一直很明确:拿实验来。几十年的人类行为研究留下了成千上万个精心设计的实验范式:人怎么推断他人意图、怎么理解模糊指令、怎么看图推理因果。
#CogGym#MIT#Harvard University#Cornell University#Stanford University#EML