创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Kestrel_VLLM将MTP草稿头迁至CUDA

AI 总结

Kestrel_VLLM作者称,项目已将MTP草稿头从CPU迁至CUDA,并将其设为带有独立一层KV缓存、游标和打包权重键的独立槽位。实现与主模型共享无层绑定注意力核心,可选入口采用非致命绑定,默认关闭并失败关闭;据称其在RTX 5090和Qwen3.5-27B环境下完成了11阶段共55行设备级对拍。报告未提供推理加速数据,MTP专用探针也尚未独立复现。

深度见解

该报告展示了LLM推理引擎中设备端MTP草稿头的具体实现,包括独立状态管理、共享注意力核心、可选功能接入保护与分阶段验证。

31 · MTP 头上 GPU:一个独立槽位,与一条抽出来共用的注意力

一句话:把 MTP 草稿头从 CPU 搬到 CUDA——它必须是主模型之外的一个独立槽位(自带一层 KV、自带游标),接入必须走非致命绑定 + 默认关 + fail-closed,attention 核心从「主模型的第 L 层」里抽出来两边共用;实测设备级逐级对拍 T=5、11 阶段 × 5 token 共 55 行全 OK(maxrel 6.2e-7 ~ 1.5e-5)。 前置:先读 第 30 篇(MTP 模块、15 张量、四个口径点、无 oracle)。 环境:x86-64 · NVIDIA RTX 5090 · Qwen3.5-27B(q4 打包)· CUDA 后端。

一、问题与结论

指标数值判定
槽位形态主模型之外的独立槽位,自带 1 层 KV(kv_width = 1024)实测
键落位8 个打包 q4 大矩阵走同一口 rq 池;7 个 f32 小张量单独上载实测
池增量(开档 vs 关档)+8 entry / +227.8 MB(401 → 409)实测
设备级逐级对拍T=5,11 阶段 × 5 token = 55 行全 OK,maxrel 6.2e-7 ~ 1.5e-5(容差 1e-4)实测
缺键 / 错形状自检均 rc=-1;两次失败都没破坏已挂好的槽位实测

#Kestrel_VLLM#Qwen3.5-27B#NVIDIA RTX 5090#CUDA

原文约 13 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。