腾讯开源DSpine:推测解码并行草稿器
AI 总结
腾讯在 Hugging Face 上发布 DSpine 的推理代码与开放权重 tencent/Qwen3-8B-DSpine-b16(Apache 2.0 许可),其思路是并行草稿器:在每个草稿层,每个位置都会接收前一个位置的预测特征,使因果链沿网络深度展开,而所有位置仍并行完成草稿。模型卡称论文已于 2026 年 9 月上传 arXiv,推理代码于 2026 年 10 月放出,训练代码和面向 Qwen3.8-27B 的版本仍在路线图中。发布方在 Qwen3-8B 上将该方法与 DSpark、DFlash2、DFlash、Domino 对比(均在相同配置下用 Open-PerfectBlend 重训),报告 DSpine 的平均接受长度最高:T=0 为 7.83、T=1 为 6.98,但这些数字来自发布方自测。
深度见解
推测解码的草稿效率直接影响大模型推理延迟,若该并行草稿方案在第三方复现中成立,可降低部署时的解码开销。