创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

斯坦福与 Together AI 推出分层生成架构 NCM

AI 总结

斯坦福大学 Hazy Research 与 Together AI 提出次概念建模(Next-Concept Modeling,NCM),先为整段文字建立粗略骨架,再逐层补全细节。该两阶段系统结合多尺度残差 VQ-VAE 与可并行预测同层全部编码的 Transformer。团队称,其生成速度比同规模扩散语言模型快 10 至 31 倍,训练所需词元少 4 至 5 倍,模型与代码已按 MIT 许可证开放。

深度见解

NCM 为逐词元自回归与扩散式文字生成提供了不同路线,但其速度和效率数据仍来自未经同侪审查的论文,也未与优化后的自回归模型比较。

跳脫逐字生成框架,史丹佛新架構 NCM 產字最高快 31 倍

史丹佛大學 Hazy Research 實驗室與 Together AI 10 月 9 日發表論文,提出名為「次概念建模」(Next-Concept Modeling,NCM)文字生成架構。主流大型語言模型一次產生一個詞元(token),NCM 則先產生整段文字的粗略骨架,再逐層補足細節。團隊表示,參數規模相近的條件下,NCM 速度比擴散語言模型快 10~31 倍,訓練所需詞元也少 4~5 倍。

從砌磚到先擬大綱

ChatGPT、Claude、Gemini 等模型多採「自迴歸」(autoregressive)架構,根據前文預測下個詞元,就像工人砌磚,輸出越長步驟越多,寫過的字也無法回頭修改。另一條路線是擴散語言模型,先產生一整段雜亂文字,再像雕刻般反覆修整,但每一步都得處理整段序列,運算成本高。

#Stanford Hazy Research#Together AI#Next-Concept Modeling#VQ-VAE#Transformer#VAR#DUO#FMLM+

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。