Kestrel_VLLM将MTP草稿头迁至CUDA
AI 总结
Kestrel_VLLM作者称,项目已将MTP草稿头从CPU迁至CUDA,并将其设为带有独立一层KV缓存、游标和打包权重键的独立槽位。实现与主模型共享无层绑定注意力核心,可选入口采用非致命绑定,默认关闭并失败关闭;据称其在RTX 5090和Qwen3.5-27B环境下完成了11阶段共55行设备级对拍。报告未提供推理加速数据,MTP专用探针也尚未独立复现。
深度见解
该报告展示了LLM推理引擎中设备端MTP草稿头的具体实现,包括独立状态管理、共享注意力核心、可选功能接入保护与分阶段验证。
31 · MTP 头上 GPU:一个独立槽位,与一条抽出来共用的注意力
一句话:把 MTP 草稿头从 CPU 搬到 CUDA——它必须是主模型之外的一个独立槽位(自带一层 KV、自带游标),接入必须走非致命绑定 + 默认关 + fail-closed,attention 核心从「主模型的第 L 层」里抽出来两边共用;实测设备级逐级对拍 T=5、11 阶段 × 5 token 共 55 行全 OK(maxrel 6.2e-7 ~ 1.5e-5)。 前置:先读 第 30 篇(MTP 模块、15 张量、四个口径点、无 oracle)。 环境:x86-64 · NVIDIA RTX 5090 · Qwen3.5-27B(q4 打包)· CUDA 后端。
一、问题与结论
| 指标 | 数值 | 判定 |
|---|---|---|
| 槽位形态 | 主模型之外的独立槽位,自带 1 层 KV(kv_width = 1024) | 实测 |
| 键落位 | 8 个打包 q4 大矩阵走同一口 rq 池;7 个 f32 小张量单独上载 | 实测 |
| 池增量(开档 vs 关档) | +8 entry / +227.8 MB(401 → 409) | 实测 |
| 设备级逐级对拍 | T=5,11 阶段 × 5 token = 55 行全 OK,maxrel 6.2e-7 ~ 1.5e-5(容差 1e-4) | 实测 |
| 缺键 / 错形状自检 | 均 rc=-1;两次失败都没破坏已挂好的槽位 | 实测 |