创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

职场基准挑战饱和榜单

AI 总结

钛媒体与36氪报道,Surge AI推出面向真实职场的sudo L7、GDP.xlsx和DAYJOB三项基准,分别考察生产代码、复杂表格及医疗或金融长流程任务。BenchLM称其295个有效百分制基准中有105个已经饱和,榜首均超过90分;但Surge AI榜单成绩明显更低,sudo L7最高通过率为41.7%,GDP.xlsx最高分为38.3%。报道同时提醒,小样本、工具链不对等、参测版本滞后、地区制度差异及Surge AI的商业利益都会限制横向比较。

深度见解

这些基准显示,传统跑分未必能反映模型能否安全完成多步骤专业工作,但采购方在依据排名选型前,也需要核查任务设计、样本规模与评测机构的利益关系。

(本文作者为 Alter,钛媒体经授权发布)

文 | Alter

2026年10月的大模型行业,上演了两套截然相反的叙事。

如果只看传统基准测试的成绩单,主流模型似乎已经把考卷做穿了。

据第三方评测聚合平台 BenchLM 截至 10 月 26 日的统计,在其追踪的 710 个基准中,有 295 个是具备实际覆盖度的百分制基准,其中 105 个(约 36%)已经彻底“饱和”,榜首得分全部在 90 分以上。

当分数全部挤在天花板附近,差出一两分究竟是因为模型更强,还是提示词和采样的随机波动,已经没人分得清。

#Surge AI#BenchLM#sudo L7#GDP.xlsx#DAYJOB#Claude Opus 5.5#Claude Sonnet 5.5#GPT-6.1 Sol#GPT-6 Astra#Gemini 4 Argon#Meta Muse Spark 1.3#LMArena

原文约 13 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。