FDE-Gym：智能体真实客户交付能力基准
AI 总结
Hugging Face 论文板块收录的新论文提出 FDE-Gym，一个由 95 个端到端交付任务组成的基准，任务来自 20 个客户场景、覆盖 18 个行业，由行业专家从真实交付项目改编。在模拟客户环境中，智能体需与脚本化的利益相关方交互并在类生产系统上操作，得分取决于客户自身成功指标的提升幅度（0 表示系统未变，1 表示参考方案），并对消息、试运行和等待时间等交互成本扣分。作者称，在必须自行发现未明说约束的真实设定下，最佳配置的平均 FDE-Gym 得分为 0.56，95 个任务中仅 14 个被解决；即便在最佳配置已从利益相关方获得全部关键事实的 23 个任务上，也只有 10 个达到 0.8 以上的归一化业务提升。
深度见解
它把评测焦点从「任务描述清晰」转向真实交付中的模糊需求与隐性约束，提示智能体的瓶颈可能不只在信息获取，也在把信息转化为可交付方案。