METR:Anthropic模型改进速度接近翻倍
AI 总结
METR历时11周的评估显示,自2025年10月以来,Anthropic模型能力基准的改进速度约为此前历史区间的1.9倍。研究人员估计,内部使用AI贡献了约80%的加速,但员工自报约12倍生产率提升仅被视为较宽松的证据。Anthropic还删减了公开报告中的大量关键证据,因此因果归因仍存在较大不确定性。
深度见解
该评估为观察AI如何加速前沿模型研发提供了少见的一手材料,也使递归式自我改进与AI安全风险成为更具体的讨论对象。
把员工自报的提效倍数,直接当成整个团队研发速度的倍数,是读这份报告最容易犯的错。
METR 在 11 月 5 日公布对 Anthropic 的评估,同一份材料既写到员工自报提效达到 12 倍,也写到模型能力指数的进步速度约为过去的 1.9 倍。
两个数字并不互相打架,因为它们没有测量同一个东西。
更容易误读的是,报告还讨论了进步加速有多少来自 AI,而这一层又不是直接测出来的事实。
下面把自报感受、指数趋势和因果判断拆开,再用一段能直接运行的代码检查其中的算术。
12 倍问的是员工感觉,不是团队产出
报告里的高倍数来自员工对自身提效的估计,并不是一组经过随机分配的对照实验。