AA多次改版,模型榜单分数不宜直接比较
AI 总结
据Artificial Analysis官方更新日志与方法论,其从v4.1到v4.3.2多次调整评测权重、替换或新增科目、退役GPQA Diamond,并重新校准GDPval的Elo分数。虎嗅AI指出,Kimi K3在7月评测时为57分,当前模型页显示44分;Kimi K3.1 Pro则为55分,报道预计等权重开放后将领先开放模型榜。由于官方未提供新旧分数对照表,不同版本或抓取日期的原始分数不宜直接相减。
深度见解
评测规则频繁变化意味着阅读近期开放模型排名时必须核对版本,MiMo-V2.6-Pro、Kimi K3.1 Pro和DeepSeek V4 Pro等成绩尤其需要结合对应榜单版本理解。

9月22日,小米开源MiMo-V2.6-Pro,46分,登顶Artificial Analysis开源榜。一个月后,Kimi K3.1 Pro发布,55分——等权重一放,将成为新的开源第一。一个月,两个"开源第一"。这不是中国模型突然行了,也不是突然不行了。是尺子又动了。AA这张榜,问题不在中国模型分低,在尺......
本文来自微信公众号: 穷奇商业 ,作者:穷奇观察
9月22日,小米开源MiMo-V2.6-Pro,46分,登顶Artificial Analysis开源榜。一个月后,Kimi K3.1 Pro发布,55分——等权重一放,将成为新的开源第一。
一个月,两个"开源第一"。
这不是中国模型突然行了,也不是突然不行了。是尺子又动了。
#Artificial Analysis#Xiaomi#MiMo-V2.6-Pro#Moonshot AI#Kimi K3.1 Pro#Kimi K3#DeepSeek V4 Pro#OpenAI#GDPval