斯坦福与 Together AI 推出分层生成架构 NCM
AI 总结
斯坦福大学 Hazy Research 与 Together AI 提出次概念建模(Next-Concept Modeling,NCM),先为整段文字建立粗略骨架,再逐层补全细节。该两阶段系统结合多尺度残差 VQ-VAE 与可并行预测同层全部编码的 Transformer。团队称,其生成速度比同规模扩散语言模型快 10 至 31 倍,训练所需词元少 4 至 5 倍,模型与代码已按 MIT 许可证开放。
深度见解
NCM 为逐词元自回归与扩散式文字生成提供了不同路线,但其速度和效率数据仍来自未经同侪审查的论文,也未与优化后的自回归模型比较。


史丹佛大學 Hazy Research 實驗室與 Together AI 10 月 9 日發表論文,提出名為「次概念建模」(Next-Concept Modeling,NCM)文字生成架構。主流大型語言模型一次產生一個詞元(token),NCM 則先產生整段文字的粗略骨架,再逐層補足細節。團隊表示,參數規模相近的條件下,NCM 速度比擴散語言模型快 10~31 倍,訓練所需詞元也少 4~5 倍。
從砌磚到先擬大綱
ChatGPT、Claude、Gemini 等模型多採「自迴歸」(autoregressive)架構,根據前文預測下個詞元,就像工人砌磚,輸出越長步驟越多,寫過的字也無法回頭修改。另一條路線是擴散語言模型,先產生一整段雜亂文字,再像雕刻般反覆修整,但每一步都得處理整段序列,運算成本高。
#Stanford Hazy Research#Together AI#Next-Concept Modeling#VQ-VAE#Transformer#VAR#DUO#FMLM+