创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

陈明达谈大模型规模化的局限与突破方向

AI 总结

Meta FAIR研究员陈明达在DeepTech访谈中表示,规模化推动了大模型在语言理解、数学推理和编程上的快速进步,但没有解决模型仍然无法完成的底层问题。他提出从既有推理过程提取流程性知识、利用编程智能体辅助研究,以及从无标签视觉数据中学习等方向。访谈还对比了Meta的业务优先级与上海交通大学更自由的探索环境。

深度见解

访谈从一线研究者视角梳理了规模化的实际成效与局限,并介绍了复杂推理和非语言基座模型的探索路径。

2022 年,陈明达博士毕业后加入 Meta 基础人工智能研究院(FAIR)。当时,前沿 AI 实验室仍在探索大模型的能力边界。研究者可以从一个未经验证的想法出发,设计实验、训练模型,再根据结果决定是否继续投入资源。不同技术路线之间,还有相当大的探索空间。

几个月后,ChatGPT 的出现改变了这一局面。

大模型展现出的能力超出了许多研究者的预期,也让 Scaling(规模化)成为行业最受关注的研发路线之一。科技公司开始集中算力、数据和人才,围绕更大规模的模型展开竞争。前沿 AI 研究越来越依赖大规模工程投入,希望通过持续扩大规模,推动模型能力不断提升。

陈明达所在的 FAIR 同样经历了这一转变。他先后参与 LLaMA、Chameleon 等项目,见证了 Scaling 推动模型能力快速提升的过程,也看到一些尚未成熟的技术,即使投入大量资源,依然难以取得预期效果。

#Meta FAIR#Shanghai Jiao Tong University#LLaMA#Chameleon#Claude Code#Procedural Intelligence#JEPA

原文约 23 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。