斯坦福与 Together AI 提出并行由粗到细的文本生成方法
斯坦福大学与 Together AI 研究者提出 Next-Concept Modeling（NCM），这是一种不同于自回归逐 token 预测和扩散生成的方法。NCM 先生成粗粒度概念表示，再并行预测更细层级的离散文本编码，最后解码为文本。论文实验显示，在受测任务中，NCM 的生成速度较扩散语言模型基线快10至31倍，质量相当或更好。在仅有30条线索的困难数独任务中，NCM 的完整解出率为86.1%，高于 FMLM+ 的81.3%，并优于自回归和扩散基线。主实验使用的生成器约为1亿参数，实验规模扩展至7.25亿参数。更大规模、精确文本任务及长文本生成上的表现仍需验证。
实验结果显示，NCM 在受测场景中提供了一条不同于现有主流路线的方法，并较扩散基线取得显著速度优势。其更广泛用途仍取决于更大规模以及精确文本和长文本任务的验证。
如今的大模型再聪明，输出内容也是一个字一个字往外蹦。有没有一种可能：真正的 AGI 不是这样？
近日，斯坦福大学与 Together AI 的研究者提出了一种既不同于自回归，也不同于扩散的第三种文本生成范式。他们把 NeurIPS 2024 最佳论文 VAR 在图像上的「下一尺度预测」配方搬进文本，让模型先并行写出几句话的「概念大纲」，再逐层并行填充细节，直到还原成完整文字。
于是新模型就叫 Next-Concept Modeling（NCM，下一概念建模），对主流 Next-Token Modeling（下一 token 建模） 来了个正面叫板。
在若干实验中，NCM 以相近或更好的质量，实现了相对扩散语言模型 10—31 倍的生成速度。
#Stanford University#Together AI#Next-Concept Modeling (NCM)#Visual Autoregressive Modeling (VAR)