创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

上交大蔡登:部署后自进化是第四条规模化轴

AI 总结

上海交通大学人工智能学院长聘教轨副教授蔡登(2022年于香港中文大学博士毕业,曾任职腾讯 AI Lab 与字节跳动 Seed,主要负责长上下文与记忆机制研究)在 DeepTech 访谈中提出,继预训练扩展参数与数据、后训练扩展标注与反馈、推理时扩展思考时间之后,第四条规模化轴是模型在真实工作中积累交互历史与反馈的“部署后自进化”(Post-Deployment Scaling)。他认为 RAG、各类记忆系统和长上下文本质上是外部记忆与短期记忆,存在“存不了、取不到”的固有局限,真正的持续学习必须把经验写入模型参数,并称上下文学习(ICL)是终局的学习方式,当前瓶颈在于可规模化。访谈中他援引相关论文称,InfiniteICL(ACL 2025)把 90% 上下文转入参数、只保留 10%,平均效果达全上下的 103%、多跳推理达 117%,并称在最长 200 万 Token 场景中仅用原始上下文 0.4% 就超过 128K 全上下文基线;2024 年初的 Temp-LoRA 是其较早的内化尝试。他将于 11 月入职上海交大并组建 ContinuousAI Lab,同时认为 RSI 与 AI for AI 仍属部署前优化,优化的是所有部署的平均。

深度见解

若部署后持续学习成立,AI 竞争的焦点可能从通用模型能力转向每个用户与组织各自演进的模型。

Cai DengShanghai Jiao Tong UniversityContinuousAI Lab

原文约 25 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。