ETF Agent提出多请求评测身份框架
AI 总结
掘金人工智能的工程分析指出,一次 Agent Run 可能包含由不同模型和角色处理的请求,因此单一模型标签不能代表整次运行。文章基于 ETF Agent 使用合成响应和受控供应商故障进行的测试,建议保留请求级证据、拒绝已知错配并保留未知,同时将近48小时历史结果的有限复用明确标为未经完整核验。合成测试验证的是身份传递与复用保护机制,不代表模型质量或生产环境的完整请求覆盖。
深度见解
该框架为处理故障切换、子任务和历史结果复用的 Agent 评测团队提供了避免误判运行可比性的具体方法。
本文结论
- 模型选择是意图,实际请求是事实;一次 Run 可以有多个不同模型与不同角色的请求。
- 请求关联 ID、模型名称、同一 Git 提交,都不足以单独证明两次评测行为可比。
- 部分观测可证明已知错配,却不能倒过来证明所有请求完全一致。
- 本地评测可以在明确条件下近似复用 48 小时内的历史结果,必须披露输入未经完整核验。
- 拒绝错配和保留未知,是保护评测结论;不应重写原始运行或历史评分。
适用
- 需要跨模型切换、子任务或恢复比较 Agent 结果,并考虑复用历史测评的工程团队。
不适用
- 把合成协议测试当作真实模型质量排行榜,或把本地近似复用视为生产环境的精确资格认证。