在 AutoDL RTX 4090 上使用 vLLM 运行 Qwen2.5-7B-Instruct
AI 总结
一篇排障复盘记录了在配备 24 GB NVIDIA RTX 4090 的 AutoDL 实例上,使用 vLLM 运行 Qwen/Qwen2.5-7B-Instruct 的过程。针对显存溢出错误,作者建议终止残留的 vLLM 和 EngineCore 进程,将 GPU 显存利用率设为 0.85,并把最大模型长度限制为 4,096,以减少 KV Cache 分配。启动命令还启用了 ModelScope 以下载模型。文中同时记录了 Hugging Face 的网络与认证问题,包括与 Xet 相关的 401 错误,并指出 ModelScope Python 包需要另行安装。来源标题写作“QWeb7B”,但启动命令和最终 API 请求使用的模型均为 Qwen/Qwen2.5-7B-Instruct。
RTX4090 的显存是 24G,不够用
- 模型是Qweb-7B,需要15G显存。那么需要使用
--gpu-memory-utilization 0.85让它只占用一部分。
1. 杀掉残留的僵尸进程,把显存腾出来
pkill -9 -f vllm
pkill -9 -f EngineCore
2. 确认显存是不是真的降下来了
watch -n 1 nvidia-smi
#Qwen2.5-7B-Instruct#vLLM#ModelScope#AutoDL#NVIDIA GeForce RTX 4090