微软开源 Scope 评测平台,追踪 AI 编程智能体任务表现
据 iThome 报道,微软开源了研究预览阶段的评测平台 Scope,可让 GitHub Copilot、Claude Code 等 AI 编程智能体执行指定任务,并检查它们是否按照文档正确使用软件开发套件、应用程序接口及相关工具。平台会记录每次运行的操作过程与测试结果,连同所用的 AI 模型、智能体版本与工具设置一并保存,帮助开发团队定位问题。团队可设定任务完成标准及多项检查条件之间的依赖关系,Scope 通过大型语言模型评估条件是否达成,并保留操作记录与工作目录快照供追查。项目采用 MIT 授权并在 GitHub 公开,需自行部署,提供网页管理界面以及命令行工具和 API;微软提醒智能体每次运行结果可能不同、自动判断也可能出错,建议反复测试并由人员检查记录。
Scope 让团队能反复检验编程智能体是否遵循自家 SDK、命令行工具与 MCP 文档,而不只是看生成的代码能否运行。
微軟開源評測平臺Scope,可讓GitHub Copilot、Claude Code等AI程式開發代理執行指定任務,檢查是否按照文件正確使用軟體開發套件(SDK)、應用程式介面(API)及相關工具。平臺也會記錄操作過程與測試結果,協助開發團隊找出代理執行任務時遇到的問題。
AI代理協助開發者寫程式時,可能選錯API、忽略文件中的重要指示,或遇到錯誤後無法完成工作,即使最後產生的程式能正常運作,也不代表代理使用了預期的工具。Scope讓軟體團隊測試代理使用自家SDK、命令列工具,以及用來連接外部服務的MCP伺服器時容易出錯的環節。
開發團隊可設定任務的完成標準,並提供起始程式碼,讓不同AI代理執行相同任務,Scope會記錄每次使用的AI模型和代理版本,連同工具設定一併保存。修改開發文件或工具後,團隊可用相同任務重新測試,觀察代理是否更容易完成工作,並分辨錯誤是偶發還是反覆出現。
Scope可依工作要求設定多項檢查條件,並安排條件之間的相依關係,例如程式須先成功建置,才檢查SDK初始化及整合測試的結果。平臺透過大型語言模型評估各項條件的達成情形,同時保留代理操作紀錄及工作目錄快照,供開發團隊追查問題發生的步驟。
不過,AI代理即使使用相同設定,每次執行的結果仍可能不同,系統自動判斷的結果也可能出錯,因此微軟建議反覆測試,並由人員檢查相關紀錄。Scope須由使用者自行部署,提供網頁管理介面,也能透過命令列工具及API將評測整合至開發流程。專案採MIT授權,原始碼已在GitHub公開,目前仍屬研究預覽階段。