创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

EFE评测coding agent的机器人能力

AI 总结

研究团队提出具身的第一场考试(EFE),用于统一评测由LLM驱动的coding agent解决机器人任务的能力。该框架包含35个任务套件、1156项任务和47款机器人,覆盖空间谜题、灵巧操作、多机器人交互及动态全身控制;智能体可直接输出动作、编写控制程序或训练策略。报告称,在8个智能体的评测中,运行于Codex中的GPT-6 Astra在标准设置下总体成功率为33.6%,而无限重置环境比提供精确物体状态更能缩小其与特权设置的差距。

深度见解

EFE为比较coding agent在不同机器人任务、控制方式、观察条件和失败阶段上的表现提供了统一框架,并揭示重置机会与物理约束对结果的影响。

让机器人掌握一项新技能,通常有两条路径:人类为它编写程序,或者让它从数据中学习。如今,让由 LLM 驱动的 coding agent 直接控制机器人,成为了第三种可能。然而,coding agent 能否在物理世界的约束下可靠地控制多种机器人?现有基准尚未回答这个问题。

为此,华人科学家李曼玲、Ruohan Zhang、石冠亚联合团队及其合作者(包括李飞飞、Dawn Song、Pieter Abbeel 等)提出了“具身的第一场考试”(Embodied First Exam,EFE),一个统一、全面且 agent 原生的评测框架,旨在考察通用 coding agent 能解决哪些机器人任务、物理世界约束如何影响表现,以及失败发生在哪一步。

论文链接:https://arxiv.org/abs/2611.12177

据论文介绍,EFE 包含 35 个任务套件中的 1156 项任务,涉及 47 款机器人。其中 26 个套件改编自已有机器人基准,9 个新增套件将评测从抓取和放置拓展至空间谜题、灵巧操作、多机器人交互、动态全身控制,以及不同仿真环境之间的工程任务。

#Embodied First Exam#GPT-6 Astra#Codex

原文约 5 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。