MIDA基准测试多模态模型社交欺骗判断
AI 总结
东京大学研究团队提出MIDA基准,用于评估多模态模型能否在多人互动中区分真话与谎言。该基准收录Ego4D和YouTube游戏素材中的2,360条发言,并提供视频、音频、对话历史、游戏规则及可验证的真、假或中性标签。实验显示,即使能力较强的模型也难以完成真假二分类,而对话历史比增加视觉帧更有帮助。
深度见解
MIDA为衡量多人协作、人机交互和多智能体系统所需的社会推理与心智建模能力提供了可控方法。
新智元 2026-10-28 19:50 北京
新智元报道
人类说一句「我不是狼」,多模态大模型既能看到表情,也能听见声音。但它真的知道这句话是真是假吗?
最近,来自东京大学的研究团队提出了多模态交互式欺骗评估基准 MIDA(Multimodal Interactive Deception Assessment),系统测试 GPT、Gemini、Claude、Qwen、DeepSeek 等开源和闭源模型在多人社交互动中的欺骗判断能力。
结果显示,即使是当前能力较强的多模态大模型,也很难可靠地区分真话与谎言。它们能够理解图像、声音和文本,却未必能弄清楚一个人在当时「知道什么、相信什么、又试图让别人相信什么」。
#MIDA#University of Tokyo#GPT-4o#GPT-5#GPT-4o-mini#Gemini#Claude#Qwen2.5-VL-7B#DeepSeek#Llama#InternVL#Ego4D