创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Kestrel_VLLM 默认启用 CUDA 批量 prefill

AI 总结

Kestrel_VLLM 将 CUDA 批量 prefill 的块宽与 mdl_mmax 解耦,允许自适应处理尾部块,并在未设置 VLLM_CUDA_Q35_MM 时默认使用 16。报告称,在 x86-64、NVIDIA RTX 5090 和 Qwen3.5-27B q4 hybrid quantization 环境下,测试中的 logits 保持位级等价。实施过程还发现变量遮蔽导致的访问冲突,以及诊断输出污染计时的问题,后者将读数从 57.41 毫秒修正为 26.75 毫秒。

深度见解

该优化消除了短提示词无法充分受益于 CUDA 批量 prefill 的回退路径,同时报告中的测试显示输出保持位级等价。

43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染

一句话:批量 prefill 接上了、位级等价、端到端 2.39×,但门默认关;要默认化,先得拆掉一个契约 —— 设备要求块宽严格等于 mdl_mmax,于是尾巴(n % mm)退回逐 token、n < mm 时整段回落(短 prompt 一点收益都拿不到)。这一轮把「块宽解耦」和「默认化」一次做完,落地期踩到两个坑:一个让程序段错误(变量遮蔽),一个让读数虚高一倍(一行诊断写在计时区里)—— 两个都不是靠更小心避开的,是诊断和编译器警告抓出来的。 前置:第 41 篇(prefill 批量化 —— 本轮的起点)、第 42 篇(M 上限 8→16)、第 37 篇(不可复现的构建与 SHA 的身份降级)。 环境:x86-64 + NVIDIA RTX 5090 · Qwen3.5-27B q4(hybrid)· CUDA 后端(阶段五)。

一、问题与结论

批量 prefill 接上了,位级等价、端到端 2.39× —— 但门默认关。

要默认化,先得拆掉一个契约:设备要求块宽严格等于 mdl_mmax,于是尾巴(n % mm)退回逐 token,n < mm 时整段回落(短 prompt 一点收益都拿不到)。

#Kestrel_VLLM#vLLM#Qwen3.5-27B#NVIDIA RTX 5090#CUDA

原文约 12 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。