Taste-Bench：智能体长期决策最好仅六成正确
微软与香港城市大学的研究者提出 Taste-Bench，用“决策分叉”检验 AI 智能体在长任务中做长期选择的能力：把智能体运行记录冻结在两条路径分岔处，隐藏后续过程，让模型判断哪条路更优。基准共 502 道二选一题目，素材来自 SWE-bench Pro、METR 公开的 MALT 记录等数千条评分过的智能体运行轨迹。测试的 14 个模型里成绩最好的是 GPT-5.6 Sol（59.7%），GPT-5.5 为 59.5%，其余明显更低；当关键线索要到很晚才出现时，平均准确率跌至 21%，接近随机猜测。研究者还用 Qwen3.6-27B 做蒸馏训练学生模型，在未见任务上准确率从 30% 升到 47.9%，把它的建议加入任务上下文后，41 个留出的 SWE-bench Pro 任务成功率从 14.6% 升至 33.7%。基准与代码已公开。
作者认为现有基准只检查智能体是否完成任务，而不衡量中间步骤的质量，而结果显示一旦判断依据出现得较晚，模型准确率就接近随机，且增加推理预算并无改善。
AI agents have bad taste in long-term decisions and a new benchmark proves it
Jonathan Kemper View the LinkedIn Profile of Jonathan Kemper
Oct 18, 2026
Nano Banana Pro prompted by THE DECODER
Researchers from Microsoft and City University of Hong Kong built a method to test how well AI agents make decisions during long-running tasks. The best model barely hit 60 percent.
#Microsoft#City University of Hong Kong#Taste-Bench#GPT-5.6 Sol#GPT-5.5#Qwen3.6-27B#SWE-bench Pro#METR