职场基准挑战饱和榜单
AI 总结
钛媒体与36氪报道,Surge AI推出面向真实职场的sudo L7、GDP.xlsx和DAYJOB三项基准,分别考察生产代码、复杂表格及医疗或金融长流程任务。BenchLM称其295个有效百分制基准中有105个已经饱和,榜首均超过90分;但Surge AI榜单成绩明显更低,sudo L7最高通过率为41.7%,GDP.xlsx最高分为38.3%。报道同时提醒,小样本、工具链不对等、参测版本滞后、地区制度差异及Surge AI的商业利益都会限制横向比较。
深度见解
这些基准显示,传统跑分未必能反映模型能否安全完成多步骤专业工作,但采购方在依据排名选型前,也需要核查任务设计、样本规模与评测机构的利益关系。
(本文作者为 Alter,钛媒体经授权发布)
文 | Alter
2026年10月的大模型行业,上演了两套截然相反的叙事。
如果只看传统基准测试的成绩单,主流模型似乎已经把考卷做穿了。
据第三方评测聚合平台 BenchLM 截至 10 月 26 日的统计,在其追踪的 710 个基准中,有 295 个是具备实际覆盖度的百分制基准,其中 105 个(约 36%)已经彻底“饱和”,榜首得分全部在 90 分以上。
当分数全部挤在天花板附近,差出一两分究竟是因为模型更强,还是提示词和采样的随机波动,已经没人分得清。
#Surge AI#BenchLM#sudo L7#GDP.xlsx#DAYJOB#Claude Opus 5.5#Claude Sonnet 5.5#GPT-6.1 Sol#GPT-6 Astra#Gemini 4 Argon#Meta Muse Spark 1.3#LMArena