创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

GPT-6.1 Sol静默失败检测测试

AI 总结

一名 Reddit 测试者使用 τ-bench 的 20 个航空客服任务,对比 GPT-6.1 Sol、Claude Sonnet 5.5 和 DeepSeek V4.1 Flash 检测保存操作未实际生效却报告成功的能力。提高 GPT-6.1 Sol 的推理强度后,每段对话的推理用量从 22 个 token 增至 939 个,但仅多检测出一个失败,即从 20 个中的 3 个增至 4 个,客户等待时间则从 33 秒升至 58 秒。测试还称,GPT-6.1 Sol 每段对话成本约为 3–4 美分,Sonnet 约为 23 美分,DeepSeek 低于半分。

深度见解

该测试呈现了智能体处理可能静默失败的操作时,额外推理投入、检测表现、延迟与成本之间的取舍。

I tested whether AI agents notice when a save says “success” but nothing actually changed, and whether turning up reasoning effort helps. I used 20 airline customer service tasks from τ-bench and compared GPT-6.1 Sol with Claude Sonnet 5.5 and DeepSeek V4.1 Flash. Findings for GPT: If anyone's interested: Write-up: https://outsideengineer.substack.com/p/thinking-harder-doesnt-help-ai-catch Code and transcripts: https://github.com/brianna-rose05/thinking-harder-silent-failures submitted by /u/TruthDeep8659 [link] [comments]

#GPT-6.1 Sol#Claude Sonnet 5.5#DeepSeek V4.1 Flash

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。