创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

AgenticOps决策模型能力实测

AI 总结

一份第一方报告在源自STAROps实际运行场景的15,788个评分案例中比较了12个决策模型,并在rca-benchmark的10个根因分析任务中测试候选模型的不同接入位置。在1,745条共同单题输入中,内部Pilot模型比Qwen3.8 Flash准确率高2.52个百分点,P95响应时间缩短80.3%。不同任务的排名并不相同:Decision 1用于任务分派时使RCA得分提高6.40分,Clef 27B用于进展判断时提高7.20分,Pilot用于根因校验时提高2.40分并缩短4.0%的耗时。作者建议将适合的重复判断交给专用模型。该文章已收录进Alibaba Cloud AI Agent Handbook。

作者:朴象

本文已收录到开源项目 Alibaba Cloud AI Agent Handbook 的决策模型专题,该专题已汇总了决策模型综述,以及我们在智能体评测、AgenticOps、工单分诊助手等方面的实践,欢迎大家将 Handbook 作为你的 Agent 外接知识库。文末点击阅读原文,访问该开源项目。

若您无法访问 GitHub,也可在此处下载 PDF 版:

developer.aliyun.com/ebook/8630


一条慢查询告警,Agent 查了 10.16 分钟,调用 123 次诊断模型,最后拿到 94 分。结果不差,但是,先查什么,这条证据有没有用,下一步该往哪走。这些判断,每次都需要让大模型生成一遍答案吗?以前我们在选更强的调查模型,同时持续优化我们的 harness,决策模型的出现拓宽了我们的优化思路,我们想看看能不能把调查中的一部分 LLM 判断交给专门的决策模型。

部分来源内容未展示,可前往原文继续阅读。

#Alibaba Cloud#STAROps#Pilot#Qwen3.8 Flash#Microsoft Decision 1#Clef SFT-27B#Decider#Drex Max#Liquid D1 Ultra#rca-benchmark#Alibaba Cloud AI Agent Handbook

原文约 42 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。