SpecTr-GBV：统一多草稿与块验证加速推测解码
机器之心报道，中国人民大学统计学院与中国医科大学智能医学学院的研究者提出 SpecTr-GBV，把多草稿推测解码与贪心块验证（GBV）统一进同一个框架：它将多条草稿 token 块与目标模型 token 块的验证写成一个最优传输问题，在保持输出分布一致性的同时最大化期望接受长度。作者证明，在其定义的条件独立耦合类中，给定草稿数 K 时该方法可达到最优期望接受长度，且该上界随 K 增大而升高、在 K=1 时退化为 GBV。实验在 HumanEval、GSM8K、MGSM、LM1B 与 Alpaca 五个数据集上，用 DeepSeek-33B/1.3B 与 DeepSeek-6.7B/1.3B 两种目标-草稿配置评测，报告了更高的块效率与加速比；文章同时指出实际端到端加速通常低于块效率，且草稿长度增大时加速比先升后降，当前理论主要针对独立同分布的草稿序列，尚未覆盖树状多候选结构。
作者指出，即使草稿模型不变，仅重新设计验证环节也能让同一批候选 token 被更充分地利用，这为推测解码加速提供了不同于压缩、蒸馏或更换更强草稿模型的思路。
机器之心 2026-10-15 12:17 北京
SpecTr-GBV，将 multi-draft 与 greedy block verification（GBV）统一进同一个推测解码框架。
大语言模型的生成过程天然具有自回归特性，即模型基于已有上下文逐 token 预测并生成后续内容。随着模型规模不断增大，单步前向计算的开销也随之增加，使得自回归解码面临较高的推理延迟。推测解码（Speculative Decoding, SD）通过引入一个更轻量的 draft model 预先生成候选 token，再由 target model 对这些候选进行并行验证，从而减少昂贵的 target model 前向计算次数，已成为加速大语言模型推理的重要技术路线。
#SpecTr-GBV#SpecTr#greedy block verification#DeepSeek-33B#DeepSeek-6.7B#Renmin University of China#China Medical University#EMNLP 2026