创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

新基准DecisionPivot诊断LLM决策失败

AI 总结

一篇新的arXiv预印本提出DecisionPivot,这是一个面向LLM系统中负责路由、护栏和输出校验等决策角色的诊断基准,包含48项任务、共40033道题,覆盖七类决策角色。其核心赛道包含来自13个生成式任务族的7800道题,按对比组组织,答案由独立实现的求解器验证;参考赛道则包含来自35个公开测试集的32233道题,沿用原有评测指标。作者评测了40个决策模型和14个通用模型,发现两个在参考赛道上仅相差2.6分的27B模型,其对比组准确率分别为70.1%和44.2%;Perplexity Decider在2400个二元对比对中有92.3%能把正例排在负例之上,但两者同时答对的比例只有74.1%;GLM-5.3在1296道题的子集上,较高推理设置下对比组准确率为93.5%,最低推理强度时为81.5%。

深度见解

作者认为单题准确率无法证明决策模型在受控变化下做出正确选择或给出可靠置信度,因此这些模型承担的路由、护栏与校验角色需要更细粒度的诊断。

Computer Science > Artificial Intelligence

arXiv:2610.28522 (cs)

[Submitted on 20 Oct 2026]

Title:DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems

Authors:Xialie Zhuang, Mingcong Lei, Zunhai Su, Ri Liu, Jianjin Li, Peixian Ma, Jia Pan, Ngai Wong, Guanhua Chen, Chuan-Wei Kuo

View a PDF of the paper titled DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems, by Xialie Zhuang and 9 other authors

#DecisionPivot#GLM-5.3#Perplexity Decider#arXiv

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。