EC²-Bench评测长周期智能体端云协同
东北大学、清华大学和中国移动研究团队发布EC²-Bench,用于评测大模型智能体长周期任务中的端云协同。该开源基准包含六类场景的128项可执行数字化工作空间任务,其中100项任务带有细粒度隐私标注,共覆盖3385个敏感信息单元,并从任务表现、资源开销和隐私暴露三个维度进行评估。研究比较了四种协同策略;在Qwen3.5-9B实验中,最优策略将任务完成得分从纯边缘方案的39.12提高至60.46,云端开销为纯云端方案的15%。
EC²-Bench提供了可复用的开源评测框架,用于衡量端云智能体方案在多步骤任务中的完成效果、云端成本与隐私暴露。
10月26日消息,近日,由东北大学、清华大学、中国移动的研究团队共同发布EC²‑Bench(Edge‑Cloud Collaborative Agent Benchmark),一套面向大模型智能体长周期任务的端‑云协同评测基准,系统研究边缘设备与云端大模型如何分工协作完成复杂智能体任务,同时兼顾任务性能、算力成本与隐私泄露风险,相关代码、数据集、论文已全部开源开放。
图 :总览。一个典型的长程工作流里,端侧和云端 Agent 在同一条轨迹上轮流执行;我们研究的四种协同策略,区别在于谁决定云端何时介入、云端介入后做什么;以及三个研究问题。
当前本地边缘大模型(通常 10B 参数以内)数据不出设备、隐私性好,但面对复杂规划、工具调用类长周期任务能力存在明显天花板;云端前沿大模型能力强,但调用成本高昂,且会接收本地敏感工作数据,带来隐私泄露隐患。
过去 RouterBench、M4A1 等评测基准大多聚焦单次查询的路由选择,忽略智能体多步骤完整执行轨迹中逐步累积的成本、隐私泄露问题,缺少面向完整任务流程的端云协同评测体系。
#EC²-Bench#Northeastern University#Tsinghua University#China Mobile#OpenClaw#Qwen3.5-9B#Qwen3.5-2B#Qwen3.5-27B#Qwen3.7-Plus#GLM-5.3#DeepSeek-V4.1-Flash