NarrowSpec让投机解码草稿模型使用更窄隐藏宽度
AI 总结
一篇于2026年11月18日提交至arXiv的论文提出,投机解码草稿模型无需采用与目标模型相同的隐藏宽度。作者报告称,使用目标模型一半或四分之一宽度的DFlash和EAGLE-3草稿模型基本保持了令牌接受率。在SGLang中使用Qwen3-8B(NVFP4)和GPT-OSS-20B(MXFP4)进行的测试显示,在批量大小为1且温度为0时,端到端解码速度在NVIDIA B200上提升1.06–1.12倍,在DGX Spark(GB10)上提升1.13–1.44倍。
深度见解
报告结果表明,在受测配置中,更窄的草稿模型基本保持接受率的同时可提高推理效率。目前这些数据来自新提交预印本中的作者报告,尚未得到所提供来源的独立验证。
Computer Science > Computation and Language
arXiv:2611.23835 (cs)
[Submitted on 18 Nov 2026]
Title:NarrowSpec: Draft Hidden Width Need Not Match the Target in Speculative Decoding
Authors:Alagappan Valliappan, Ankit More, Dheevatsa Mudigere, Jatin Mitra
View a PDF of the paper titled NarrowSpec: Draft Hidden Width Need Not Match the Target in Speculative Decoding, by Alagappan Valliappan and 3 other authors
#NarrowSpec#DFlash#EAGLE-3#Qwen3-8B#GPT-OSS-20B#SGLang#NVIDIA B200#DGX Spark