Kestrel_VLLM合并GDN内核发射
AI 总结
Kestrel_VLLM开发者称,将批量M循环移入CUDA内核后,M=4时每层发射数由27降至9,M=8时由51降至9。三轮交错的M=4测试中,合并路径平均为24.063毫秒,逐M路径为28.182毫秒,报告延迟降低14.6%;真实混合批次M=2至M=8的memcmp测试显示输出位级一致。合并路径已成为默认方案并保留环境变量回退,但证据仅来自单篇开发者自述,部分性能数据未在最终清单中复现。
深度见解
这项AI推理优化把GDN每层的内核发射数与批量大小解耦,并在开发者测试中以一致输出换来更低延迟。
35 · 把 m 循环搬进内核:一次「先量发射、再合并发射」的完整回合
一句话:第 34 篇把批量 M 行建出来了,但只证明算术是对的。第一次真正量它的性能时,实测比模型预测高约 35%——本篇把这笔账从对不上走到结清:逐相分解 → 定位到 GDN 子层 → 造两个诊断档把「发射」与「工作」分开 → 坐实「每行成本 = 发射主导」→ 把 6 次/行的发射合并成 1 次 → 默认化。拿到了阶段五单笔最大的一刀(M=4 的 verify 段 2.130× → 2.495×,默认化后整步 2.521×)。 前置:先读 第 34 篇(批量 M 行的五个块);对照 第 29 篇(「发射次数多 ≠ 发射开销大」)。 环境:x86-64 · NVIDIA RTX 5090 · Qwen3.5-27B(q4 打包)· CUDA 后端;同会话交错 3 轮。
一、问题与结论
| 指标 | 数值 / 结果 | 判定 |
|---|---|---|
| 「高了 35%」先变成分相账 | 缺口落在 ② 子层,病态的是 GDN 子层(attn-64 0.930 / gdn-64 3.260 / mixed 3.501 ms/行) | 实测 |
| 门禁:LF2 每行增量 | 0.38–0.54 ms/行,低于 attn 档的 0.930,远低于 real 的 3.26–3.50 | 实测 |
| 落地:每层发射数 | M=4:27 → 9;M=8:51 → 9(与 M 无关) | 实测 |
| M=4 verify 段 | 28.182 → 24.063 ms,省 4.119 ms(−14.6%);提速 2.130× → 2.495× | 实测 |
| M=8 | 省 9.34 ms(2.460× → 3.207×) | 实测 |
| 默认化后整步 | M=4 2.521× / M=8 3.174× | 实测 |