创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

AA多次改版,模型榜单分数不宜直接比较

AI 总结

据Artificial Analysis官方更新日志与方法论,其从v4.1到v4.3.2多次调整评测权重、替换或新增科目、退役GPQA Diamond,并重新校准GDPval的Elo分数。虎嗅AI指出,Kimi K3在7月评测时为57分,当前模型页显示44分;Kimi K3.1 Pro则为55分,报道预计等权重开放后将领先开放模型榜。由于官方未提供新旧分数对照表,不同版本或抓取日期的原始分数不宜直接相减。

深度见解

评测规则频繁变化意味着阅读近期开放模型排名时必须核对版本,MiMo-V2.6-Pro、Kimi K3.1 Pro和DeepSeek V4 Pro等成绩尤其需要结合对应榜单版本理解。

9月22日,小米开源MiMo-V2.6-Pro,46分,登顶Artificial Analysis开源榜。一个月后,Kimi K3.1 Pro发布,55分——等权重一放,将成为新的开源第一。一个月,两个"开源第一"。这不是中国模型突然行了,也不是突然不行了。是尺子又动了。AA这张榜,问题不在中国模型分低,在尺......

本文来自微信公众号: 穷奇商业 ,作者:穷奇观察

9月22日,小米开源MiMo-V2.6-Pro,46分,登顶Artificial Analysis开源榜。一个月后,Kimi K3.1 Pro发布,55分——等权重一放,将成为新的开源第一。

一个月,两个"开源第一"。

这不是中国模型突然行了,也不是突然不行了。是尺子又动了。

#Artificial Analysis#Xiaomi#MiMo-V2.6-Pro#Moonshot AI#Kimi K3.1 Pro#Kimi K3#DeepSeek V4 Pro#OpenAI#GDPval

原文约 8 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。