陈明达谈大模型规模化的局限与突破方向
AI 总结
Meta FAIR研究员陈明达在DeepTech访谈中表示,规模化推动了大模型在语言理解、数学推理和编程上的快速进步,但没有解决模型仍然无法完成的底层问题。他提出从既有推理过程提取流程性知识、利用编程智能体辅助研究,以及从无标签视觉数据中学习等方向。访谈还对比了Meta的业务优先级与上海交通大学更自由的探索环境。
深度见解
访谈从一线研究者视角梳理了规模化的实际成效与局限,并介绍了复杂推理和非语言基座模型的探索路径。
2022 年,陈明达博士毕业后加入 Meta 基础人工智能研究院(FAIR)。当时,前沿 AI 实验室仍在探索大模型的能力边界。研究者可以从一个未经验证的想法出发,设计实验、训练模型,再根据结果决定是否继续投入资源。不同技术路线之间,还有相当大的探索空间。
几个月后,ChatGPT 的出现改变了这一局面。
大模型展现出的能力超出了许多研究者的预期,也让 Scaling(规模化)成为行业最受关注的研发路线之一。科技公司开始集中算力、数据和人才,围绕更大规模的模型展开竞争。前沿 AI 研究越来越依赖大规模工程投入,希望通过持续扩大规模,推动模型能力不断提升。
陈明达所在的 FAIR 同样经历了这一转变。他先后参与 LLaMA、Chameleon 等项目,见证了 Scaling 推动模型能力快速提升的过程,也看到一些尚未成熟的技术,即使投入大量资源,依然难以取得预期效果。
#Meta FAIR#Shanghai Jiao Tong University#LLaMA#Chameleon#Claude Code#Procedural Intelligence#JEPA