李曼玲团队推出的 EFE(Embodied First Exam,具身第一场考试),是专门给 coding agent 做的具身智能评测基准,用来测试大模型驱动的 coding agent 能不能直接写代码去控制真实物理机器人,这套评测包含 1156 项任务、覆盖 47 款不同机器人,实验结果显示就算是主流 coding agent,放到物理约束里成功率也会大幅下滑,很多在数字环境里写代码很强的 Agent,一碰到物理世界的误差、碰撞、空间限制就失效,填补了之前只有代码评测、缺少物理机器人场景评测的空白,也直接点出现在 coding agent 从纯数字走向实体机器人控制最大的短板。过去大家测 coding agent,基本都是做软件、刷题、写脚本这类数字任务,很少考虑物理世界里的各种不确定性,而机器人控制有重量、摩擦力、位置偏差、碰撞限制,不是代码语法正确就一定能跑通,EFE 这套基准就是把这些物理约束全部放进考题里,帮研究人员看清 coding agent 到底卡在哪个环节。
EFE 具身考试评测框架基础信息
| 项目 | 详情 |
|---|---|
| 项目名称 | Embodied First Exam(EFE,具身第一场考试) |
| 发起团队 | 李曼玲、Ruohan Zhang、石冠亚团队,合作者包含李飞飞、Dawn Song、Pieter Abbeel 等 |
| 任务规模 | 35 个任务套件,合计 1156 项任务 |
| 覆盖机器人 | 47 款机器人平台 |
| 任务类型 | 抓取放置、空间谜题、灵巧操作、导航、多机协同等 |
| 论文地址 | arxiv.org/abs/2611.12177 |
为什么要给 coding agent 做这场具身考试
- 现有评测偏向数字场景:SWE-bench、HumanEval 这类经典基准,只考代码逻辑,完全不涉及物理实体,没法反映 Agent 控制机器人的真实水平。
- 代码正确≠机器人能成功执行:coding agent 输出的代码语法没问题,但忽略物理误差、空间遮挡、运动限位,机器人执行后直接失败。
- 定位失败根因:EFE 可以拆分失败阶段,区分是理解任务错、代码生成错、还是物理执行层面出错,方便后续针对性优化 coding agent。
- 统一对比标尺:不同模型、不同 Agent 方案,都可以在同一套机器人任务上横向对比,避免各家自己搭测试集、结果没法对比。
这套具身考试的评测使用步骤
- 选定被测 coding agent:接入 Agent 的代码生成、工具调用接口,Agent 只能通过编写控制代码的方式操作机器人,不能直接下发底层动作指令。
- 加载 EFE 任务套件:选择对应机器人和任务,任务会给出自然语言目标、机器人可用 API、环境约束。
- Agent 自主完成任务:Agent 理解目标、写控制代码、调用仿真 / 真机环境执行,失败后可以自主重试、修改代码。
- 多维度记录指标:统计任务成功率、代码重试次数、失败分类(语义理解 / 代码错误 / 物理约束)、完成耗时。
- 横向对比与复盘:对比不同 coding agent 的得分,统计高频失败类型,用来优化 Agent 的提示词、世界模型、物理感知能力。
最终结论
EFE 这场 coding agent 的具身考试,不是单纯一套新的机器人测试集,而是一套面向 coding agent 原生的评测范式,它证明了数字环境里很强的 coding agent,在物理机器人场景还有很大差距;后续想要让 coding agent 稳定操控实体机器人,不能只提升代码生成能力,还要加入物理常识、空间推理、误差容错的能力,EFE 也会成为后续具身 coding agent 研究的通用测试标尺。
【相关 FAQ】
问题 1:coding agent 的具身考试 EFE 和普通代码评测基准有什么核心差别?
回答 1:coding agent 的具身考试 EFE 加入物理世界约束,任务目标是控制机器人完成实体操作,普通代码评测只在数字环境验证代码逻辑,不考虑机器人运动、碰撞、空间遮挡这类物理限制。
问题 2:参与 coding agent 的具身考试评测时,Agent 能不能直接控制机器人底层动作?
回答 2:不能,coding agent 的具身考试规则要求 Agent 只能通过编写控制代码调用机器人 API,必须走代码生成链路,以此还原真实 coding agent 控制机器人的模式。
问题 3:在 coding agent 的具身考试里,主流 coding agent 的失败大多集中在哪些地方?
回答 3:coding agent 的具身考试实验发现,很多失败不是代码语法报错,而是缺少物理常识,忽略物体位置偏差、遮挡、运动限位,写出理论可行但物理世界无法落地的代码。
【参考资料】
[2026-11-11](华人科学家李曼玲团队新作:coding agent 的第一场具身考试)36 氪
[2026-11-11](华人科学家李曼玲团队新作:coding agent 的第一场具身考试)网易订阅(学术头条)
[2026-11-11](Embodied First Exam)arxiv 论文
[2026-11-11](AI 控制机器人的残酷真相:最强 Agent 成功率仅 33%)AI 地带
【免责声明】
本文针对李曼玲团队 coding agent 具身考试 EFE 项目做信息整理解读,评测结果、任务指标以原论文和官方项目页为准;不同 coding agent、仿真环境、机器人硬件会影响最终评测得分,不代表所有同类 Agent 的通用上限。
本文来自作者[星枢解码]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/715.html
评论列表(4条)
我是环球科技潮的签约作者“星枢解码”!
希望本篇文章《李曼玲团队 EFE 具身考试,评测 coding agent 物理世界机器人控制能力》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:李曼玲团队推出的 EFE(Embodied First Exam,具身第一场考试),是专门给 coding agent 做的具身智能评测基准,用来测试大模型驱动的 coding agent 能不能直接写代码去控制真实物理机器人,这套评测包含 1156 项任务、覆盖 47 款不同机器人,实验结果显示就算是主流 coding agent,放到物理约束里成功率也会大幅下滑,很多在数字环境里写代码很强的 Agent,一碰到物理世界的误差、碰撞、空间限制就失效,填补了之前只有代码评测、缺少物理机器人场景评测的空白,也直接点出现在 coding agent 从纯数字走向实体机器人控制最大的短板。过去大家测 coding agent,基本都是做软件、刷题、写脚本这类数字任务,很少考虑物理世界里的各种不确定性,而机器人控制有重量、摩擦力、位置偏差、碰撞限制,不是代码语法正确就一定能跑通,EFE 这套基准就是把这些物理约束全部放进考题里,帮研究人员看清 coding agent 到底卡在哪个环节。