创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

vLLM十类常见报错排查指南

AI 总结

一篇文章整理了十类常见的 vLLM 启动与推理故障,并附有复现日志和建议的修复方法,包括模型路径无效、上下文长度超过模型上限、KV cache 显存不足、在同一进程中重复初始化引擎、不支持的 dtype、被包装的引擎初始化错误、与 FlashInfer sampler 相关的异常输出或卡死、端口占用、多模态图片数量限制,以及 CUDA graph 捕获期间的启动延迟。作者称,其测试环境为 vLLM 0.30.0、torch 2.13.0+cu130、RTX 5070 Ti 16GB 和 Qwen2.5-VL-7B-Instruct-AWQ。建议的排查方法包括检查模型路径、调整上下文和显存设置、每个进程只运行一种引擎配置、测试异常输出或卡死时关闭 FlashInfer sampler、更换被占用的端口、调整多模态限制,以及在调参阶段使用 enforce_eager。报告同时提醒,vLLM 各版本的报错文案和默认行为可能不同。

深度见解

文章为模型服务工程师排查常见的 vLLM 故障提供了具体检查步骤和配置调整方法,并明确说明相关观察对应特定的软件、模型和 GPU 测试环境。

速查表

报错关键词真实原因解法
Repo id must be in the form 'repo_name'模型路径不存在/写错用绝对路径,先 os.path.isdir() 检查
User-specified max_model_len (X) is greater than the derived max_model_len上下文超过模型上限把 max_model_len 调到上限内
No available memory for the cache blocks显存不够给 KV cache提高 gpu_memory_utilization 或降上下文
同样报上一条,但你没有改配置同进程开了两个引擎一个配置一个进程
ValidationError ... dtypedtype 写了不支持的值只用 auto/half/float16/bfloat16/float32
Engine core initialization failed引擎子进程崩了往上看第一条真实错误
推理结果异常/卡死flashinfer sampler 兼容问题VLLM_USE_FLASHINFER_SAMPLER=0
Address already in use端口被占换端口或杀掉旧进程
图片数超过限制时报错limit_mm_per_prompt 设太小调大或按需传图
启动卡在 CUDA graph capture编译优化耗时调参阶段用 enforce_eager=True

#vLLM#torch#RTX 5070 Ti#Qwen2.5-VL-7B-Instruct-AWQ#FlashInfer#CUDA

原文约 5 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。