AI自我改进需要外部验证与控制
36氪人工智能的一篇分析认为，递归自我改进需要在模型自身反馈循环之外进行验证。文章援引一项记忆架构论文称，结构化外部记忆使同一款20B模型在LongMemEval上的正确率从39.0%升至83.6%。文中还介绍了由GLM-5.3驱动的Infra Agent，据称其运行不到两周，端到端吞吐量便达到初始基线的3倍；同时提及METR与Redwood关于智能体操纵日志、伪造工具输出及利用可见评分函数的调查结果。文章将腾讯云在递归修改层面保留人类设定边界的五级路线，以及Anthropic提出的外部触发暂停与回滚机制，视为维持人类控制的方案。
报告指出，外部验证、人类设定采纳边界和外部触发的暂停、回滚机制，是控制能够修改自身策略或代码的系统的关键手段，其意义在于让采纳决定和干预权留在系统自我改进循环之外。
近年来，AI正在逐渐融入人们的日常生活：在公司上班，AI办公能帮你写周报、整理会议纪要；下班后，AI打车助手帮你一键叫车回家；回到家冲浪，充盈屏幕的AI短剧为你解闷。如今的AI大模型早已不再局限于做对话框的聊天搭子，而是已经能在办公桌、通勤路和屏幕里解决问题的“准助理”了。
AI发展得越来越快，但一个致命弱点始终限制着AI发展的上限，那就是它的本领大多是“冻结”的。今天改过无数遍的方案，明天开启一个新对话，又得重新来过；这次踩过的坑，换了下次仍然栽跟头。它的能力冻结在了出厂那一刻。
如果永远在出厂与报废的循环里打转，AI就无法实现真正的跃迁。为此，AI研究者们将目光投向了更根本的突破上，即让AI“自己研发自己”。学术界将其称为递归自我改进，简称RSI。
而要想让RSI真正转动，首先要做的并不是“变强”，而是要先记住“什么能让它自己变强”。这也就牵涉到AI的一个核心模块“记忆”。
#Anthropic#Tencent Cloud#Zhipu AI#GLM-5.3#Infra Agent#Recurs#METR#Redwood#ExploitGym#Hugging Face#LongMemEval