AI Agent 任务级评测框架
AI 总结
ETF Agent 评测框架指出，测试“绿灯”只表示某项检查在既定条件下通过，并不证明用户任务已经完成。文章建议分别观察运行行为、依据获取、内容判断和用户结果，并区分已知失败、证据不足及更正记录，避免用单一总分替代真实任务证据。文中还结合 RAG、Trace、模型裁判、子 Agent 贡献和成本，梳理其研发评测中的历史经验。
深度见解
该框架为 AI Agent 评测提供了可复用的证据链方法，有助于避免把局部测试通过或综合分数误写成真实用户价值。
绿灯只说明某项检查在给定条件下通过，不会自动证明用户的任务已经完成。 Agent 评测最重要的工作，是先确认检查了哪条边界、评的是哪份内容、分母包含哪些任务，再比较质量和成本。
这不是要求每次修改都重跑整套研究，而是让证据与声明相匹配：局部逻辑用局部检查，跨进程效果看真实交接，模型质量看实际产物。否则，一个准确的测试数字也可能支撑一项错误的产品结论。
我们早期遇到过这样的情况：服务端有候选答案，自动裁判给出了结果，运行状态甚至已经是 completed；继续沿前端链路检查，却发现候选存在、服务端发送、浏览器收到和展示，并不是同一个事实。
#ETF Agent#Research Runtime#OpenTelemetry#Langfuse#Ragas#DeepEval#PostgreSQL#Playwright#Vitest#AI SDK#MCP