创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

NarrowSpec让投机解码草稿模型使用更窄隐藏宽度

AI 总结

一篇于2026年11月18日提交至arXiv的论文提出,投机解码草稿模型无需采用与目标模型相同的隐藏宽度。作者报告称,使用目标模型一半或四分之一宽度的DFlash和EAGLE-3草稿模型基本保持了令牌接受率。在SGLang中使用Qwen3-8B(NVFP4)和GPT-OSS-20B(MXFP4)进行的测试显示,在批量大小为1且温度为0时,端到端解码速度在NVIDIA B200上提升1.06–1.12倍,在DGX Spark(GB10)上提升1.13–1.44倍。

深度见解

报告结果表明,在受测配置中,更窄的草稿模型基本保持接受率的同时可提高推理效率。目前这些数据来自新提交预印本中的作者报告,尚未得到所提供来源的独立验证。

Computer Science > Computation and Language

arXiv:2611.23835 (cs)

[Submitted on 18 Nov 2026]

Title:NarrowSpec: Draft Hidden Width Need Not Match the Target in Speculative Decoding

Authors:Alagappan Valliappan, Ankit More, Dheevatsa Mudigere, Jatin Mitra

View a PDF of the paper titled NarrowSpec: Draft Hidden Width Need Not Match the Target in Speculative Decoding, by Alagappan Valliappan and 3 other authors

#NarrowSpec#DFlash#EAGLE-3#Qwen3-8B#GPT-OSS-20B#SGLang#NVIDIA B200#DGX Spark

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。