Create

Sign in to ReadmeX

Sign in to join communities, post, vote and chat.

New here?

Story

Hinton-led paper examines whether automated AI R&D could trigger an intelligence explosion

AI summary

A paper co-authored by Geoffrey Hinton, Yoshua Bengio, Andrew Barto and OpenAI chief scientist Jakub Pachocki examines whether automating AI research and development could create a recursive improvement loop. It argues that AI could eventually automate much of AI R&D and accelerate progress, while emphasizing that current evidence is insufficient to show an intelligence explosion has begun and that compute, data, experiment time and diminishing returns remain major constraints.

Why it matters: The paper frames recursive self-improvement as an empirical AI R&D automation question rather than only a speculative scenario.

Geoffrey HintonYoshua BengioAndrew Barto

0
Source text量子位(原生 RSS) · 12 min read

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-10-05 12:42:52 来源:量子位

AI已经开始真正进入「造下一代AI」的流水线

梦瑶 发自 凹非寺

量子位 | 公众号 QbitAI

当AI开始参与研发下一代AI,人类可能已经站到「智能爆炸」前夜。

亏贼!最近超超超超火的递归自我改进(RSI),连AI教父辛顿都亲自下场了??

Image 1

咱诺贝尔物理学奖、图灵奖得主Hinton的首篇RSI的论文,上来就研究一个相当炸裂的问题:

如果AI开始大规模参与造下一代AI。

然后,下一代AI再回来继续加速研发。

这么一轮轮滚下去…会不会直接跑出一条智能爆炸曲线啊?

Image 2

Image 3

论文名叫**《What if automating AI R&D triggers an intelligence explosion?》**。

参与撰写论文的作者也堪称AI学界全明星阵容:

22位作者里,包括两位AI教父Geoffrey Hinton、Yoshua Bengio,强化学习先驱Andrew Barto,OpenAI首席科学家Jakub Pachocki等一众研究者。

这么多AI大牛凑在一起,讨论的正是AI领域最古老科幻的「智能爆炸」问题,论文核心观点咱先来一睹为快——

  • 一旦AI能完整参与造下一代AI,递归自我改进就可能真正闭环。
  • AI研发自动化一旦越过某个临界点,几年才能完成的AI进步,有可能被压缩到几个月,甚至更短。
  • 未来AI实验室的研发规模,理论上可能从几千人直接跳到数百万研究员。
  • 今天一年完成的AI进步,极端情况下,未来可能只需要约5周。
  • 智能爆炸未必需要AI先变成超级智能,只要AI研发的自动化效率足够高,反馈循环就可能先启动。

所以…辛顿…老爷子…大牛们…到底围绕RSI都说了点啥…急…

AI已经开始真正进入「造下一代AI」的流水线

智能爆炸这个词,其实蛮古早了。

早在1965年的时候,数学家I.J. Good就设想过一种超智能机器。

如果一台机器已经比人更擅长设计机器,那么它可以继续设计一个更聪明的版本。

新的版本继续参与下一轮改进,一轮接一轮,最后形成一个自我强化的反馈回路。

Good当年的核心判断其实很简单——

如果「改进机器」这件事本身,也能被机器做得越来越好,能力增长就可能反过来继续加速能力增长。

这套设想后来成了「智能爆炸」最经典的理论源头,和今年大火的递归自我改进(RSI),其实也算一脉相承。

只不过到了今天,RSI讨论的重点已经悄悄变了。

大家关心的已经不只是一台AI能不能自己改代码、调参数,而是一个更现实的问题:

AI能不能真正进入研发下一代AI的整套流程,并且让这套研发流程本身越来越快?

而辛顿等人在这篇论文里给出的一个关键判断,恰恰就是:

AI开始真正进入AI研发流水线了,而且速度快得有点离谱。。。

Image 4

之所以这么说,是因为论文引用了Anthropic等头部实验室的一批内部数据。

2025年1月,AI生成的获批代码还只有低个位数比例。

才过了一年,到了2026年5月,这一比例已经超过80%。

变化更大的,是AI「自主」完成研发工作的比例。

2026年3月,Claude能够在仅接受高层次人类监督的情况下自主完成约1%的研发工作。

到同年8月,这个数字已经升到了26%。

换句话说,半年左右,直接翻了二十多倍。

当然了,这个数字不能理解成Claude已经自动完成Anthropic四分之一的全部研究。

它主要衡量的是在高层人类监督下,可以由AI自主承担的内部AI R&D工作比例。

Anthropic自己也强调,目前Claude还没有在哪一类被测AI研发工作上达到完全无人监督的水平,但不管咋说,趋势已经很明显了。

Image 5

论文还提到,截至2026年9月,OpenAI内部的AI系统已经可以经常完成原本人类员工需要数天完成的研发任务。

这里一个很关键的变化是AI能独立处理的任务长度,一直在增长。

真正决定AI能不能像研究员一样工作,关键并不只是某个benchmark分数有多高。

更重要的是,它能不能把几十个步骤连续串起来,在几个小时、几天,甚至更长时间里持续推进同一个研究目标。

论文综合benchmark趋势和实验室内部进展,认为未来几年,AI有可能自动化大部分AI研发工作,甚至完成全部自动化。

写代码只是AI研发的一部分,这里的完整AI R&D还包括提出研究假设、设计实验、实现实验、分析结果、定位失败原因、调整路线,再重新开始。

这些环节里,任何单独一项被自动化,都只能算AI辅助研究,真正敏感的节点,是它们开始被串成一条长链。

一旦这些步骤能够被一个AI系统长时间串起来,它承担的角色就开始越来越接近真正的研究员。

Image 6

好巧不巧的是,AI研发恰好又特别适合这种自动化。。。

AI大量发生在数字环境里,代码能直接执行,实验结果可以快速返回,模型能力还能通过benchmark、loss、reward等指标立即验证。

相比化学、生物或者制造业,AI研发少了很多必须等待现实世界反馈的环节。

也正因为如此,Good当年那个听起来非常遥远的循环,今天才第一次开始有了比较具体的工程路径:

AI参与研发下一代AI,下一代AI能力更强,更强的AI再回来参与下一轮研发,循环继续下去,研发能力本身开始参与推动研发能力增长。

论文把这类路径称为software-driven intelligence explosion,也就是由软件改进驱动的智能爆炸。

主要提一嘴的是,这和造出更快芯片还有点区别。

芯片设计、流片、建厂都有长周期,而算法、训练方法、Agent工作流、合成数据策略一旦验证有效,理论上可以很快重新部署进下一轮研发。

所以作者真正关心的是AI进步的反馈周期会不会越来越短,这也是今天重新讨论递归自我改进的原因:

AI只要能够越来越完整地接管下一代模型研发,自我改进的反馈回路就已经出现了。

几千个研究员变成数百万个,一年的AI进步可能只剩5周??

接下来,就是整篇论文最《抓马》的部分了。

AI参与研发本身还不够构成智能爆炸,真正重要的,是它和普通人类研究员存在一个非常大的区别——AI研究员可以复制。

假设一家实验室今天有1000名顶尖研究员,未来它开发出了一个能力达到顶级人类AI研究员水平的Agent。

从这一刻开始,扩张研发团队这件事,游戏规则就变了。

培养一名顶尖人类研究员,可能要读五年博士、再积累多年科研经验,AI研究员直接再开一个实例就行~

它还能24小时工作,成千上万个实例同时跑任务。底层模型一更新,整支AI研发团队也能同步升级。

这就直接绕开了人类科研最硬的一层增长限制:人才培养速度。

人类想把1000名顶尖研究员变成100万人,几乎是代际工程。

AI系统理论上可以靠增加推理算力和实例数量,在短得多的时间里扩张。

对此论文还专门引入了一个概念:

effective R&D workforce,也就是有效研发劳动力。

Image 7

作者估算,如果AI达到顶级AI研究员水平,推理成本又与今天的前沿模型处于类似量级——

那么一家领先AI公司的现有算力,理论上可能支撑至少数百万名顶级人类研究员等价的AI研发劳动力。

要知道今天一家前沿AI实验室的研究团队,还只是几千人量级,两者之间差了几个数量级。。。

而且这几百万个研究员还有一个人类组织很难复制的特点:能力可以同步更新。

底层模型一旦升级,不需要重新培训几百万人,所有实例理论上都可以一起获得新能力。

需要提一下的是,这里最容易产生一个误解,100万AI研究员,并不会自动带来1000倍研发速度。

科研天然存在边际收益递减,10个人研究一个问题,可能比1个人快很多。

100万人同时研究一个问题,很可能大量重复工作、争抢实验资源,还会发现好点子越来越难找。

所以论文真正试图计算的是另一件事:新增AI研发劳动力带来的收益,究竟能不能跑赢科研本身越来越难这件事捏?

Image 8

于是乎,整篇论文非常关键的一个变量来了:returns to research effort,记作r。

简单理解,就是研究投入增加以后,技术进步速度能跟着涨多少。

当r比较低,大量增加研究投入以后,收益很快递减。

当这个数足够高,新增研发能力带来的进步,又会进一步造出更强的AI研究员,这时反馈环才开始加速。

论文引用了一项对三个AI研究子领域历史数据的研究,r的中心估计落在大约1.2—1.9。

假设AI研发实现全面自动化,假设类似的研究回报能够维持,再假设短期内没有新的算力、数据等瓶颈突然卡死整个系统,模型得到的结果是:

AI技术进步速度可能在大约1.5年内提高10倍。

换算一下啊,今天需要一年才能发生的AI进步,到了那个阶段,只需要大约5周。

Image 9

而且论文还算了另一笔账。

如果AI研发全部自动化以后,只维持当前软件效率改进趋势,自动化AI研发劳动力在数月到数年时间里,就可能扩大100倍。

而且这种增长还可能来自两条线同时推进。

一边是AI研究员数量增加,一边是单个AI研究员本身继续变强。

于是智能爆炸真正反常识的地方出来了。

过去科技增长的一项天然限制,是培养研究人员很慢,培养一个真正优秀的研究员,需要十几年教育和训练。

AI研究员可没有这层限制,一旦达到足够能力,培养这个步骤可能变成复制模型、分配算力。

于是乎,科研第一次可能遇到一种极其奇怪的供给冲击:研究能力本身,也变成了软件。

而且一旦研究能力变成软件,研究员数量和研究员能力这两个变量,就有可能同时被技术进步推动。

这才是论文口中的智能爆炸真正危险的地方:加速来源本身也在被加速。

RSI已经冒头,智能爆炸还没闭环

看到这里,很容易得出一个特别刺激的结论:完蛋,智能爆炸已经开了。(哭)

但咱辛顿这篇论文里,全篇给出的一个基调是,当前证据还远远不足以证明智能爆炸已经发生。(笑)

因为目前AI研发自动化带来的生产率提升,依然没有明确越过引发爆炸式加速所需要的门槛。

作者甚至直接提醒,AI研发自动化和智能爆炸之间,中间还隔着很长一串条件。

AI首先得足够可靠,能够长时间自主工作;其次要真的提高研发产出;再然后,这些新研发成果还得反过来明显增强AI本身的研发能力。

而且即使未来出现几百万个AI研究员,它们面前至少还有几道很现实的墙。

第一道,算力。

AI研究员可以复制,GPU不能凭空复制,如果大量关键实验都需要运行大型模型,再多Agent最后也可能排队等卡。

尤其训练一次真正的前沿模型,本身就可能需要数月,100万个AI研究员坐在电脑前,也没法把一个物理上需要三个月的训练任务压成五分钟。

这也是软件驱动智能爆炸最大的现实约束之一:软件迭代可以极快,底层计算基础设施扩张依然受物理世界限制。

第二道,数据。

互联网天然数据并不会随着AI研究员数量同步增长。

按照论文讨论的趋势,现有高质量自然数据很可能越来越难满足持续扩展的训练需求。

未来能不能靠合成数据、可验证任务、环境交互等方式继续提供高质量训练信号,现在依然没有定论。

Image 10

第三道,实验时间。

有些事情本身就很难无限并行,训练模型需要时间,芯片制造需要时间,新数据中心建设也需要时间。

哪怕有100万个Agent同时提出实验方案,最终还是要共享有限的GPU、实验集群和训练窗口。

还有最后一道更根本的问题,那就是科研会越来越难。

容易找到的算法改进可能首先被找光,往后每提高一点能力,都需要越来越大的投入。

论文把这一点叫作diminishing returns——

研究越往前走,下一次突破可能就越贵,如果科研难度上涨得比AI研发能力还快,智能爆炸自然也起不来。

总的来说,虽然论文没有足够证据证明智能爆炸一定发生,但现有证据已经足够让它从科幻问题,变成一个需要提前准备的现实问题。

而且递归自我改进这件事,确实已经离「科幻设定」越来越远了。

甚至未来回头看,2026年真正值得记住的节点,可能还真不是某个模型又多拿了几分。

恐怕是人类第一次开始认真意识到,AI最猛的一次Scaling,可能发生在「研究AI」这件事本身。

参考链接:

[1]https://x.com/geoffreyhinton/status/2106122709285368061?s=20

版权所有,未经授权不得以任何形式转载及使用,违者必究。

Read the original →

How we got here

  1. Claude Threat Report Leads to Florida Felony ChargeHacker News · AI(100+ 分) · Anthropic
  2. Why AI Image Generators Keep Defaulting to Beautiful Women虎嗅 AI · OpenAI
  3. Apple to Tighten macOS Full Disk Access Amid AI Agent Risks虎嗅 AI · OpenAI
  4. Andreessen Horowitz Launches a Project-Based School for High-School Graduates创业邦 科技 · Anthropic
  5. QbitAI reports OpenAI’s 28-day reset commitment量子位(原生 RSS) · OpenAI
  6. OpenAI’s Safety Dispute Highlights the Need for AI Governance虎嗅 AI · OpenAI

Comments

I've used this: share my experience What I think: share my view
How important is this story?No ratings yet

No comments yet. Start the conversation.