创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

在 AutoDL RTX 4090 上使用 vLLM 运行 Qwen2.5-7B-Instruct

AI 总结

一篇排障复盘记录了在配备 24 GB NVIDIA RTX 4090 的 AutoDL 实例上,使用 vLLM 运行 Qwen/Qwen2.5-7B-Instruct 的过程。针对显存溢出错误,作者建议终止残留的 vLLM 和 EngineCore 进程,将 GPU 显存利用率设为 0.85,并把最大模型长度限制为 4,096,以减少 KV Cache 分配。启动命令还启用了 ModelScope 以下载模型。文中同时记录了 Hugging Face 的网络与认证问题,包括与 Xet 相关的 401 错误,并指出 ModelScope Python 包需要另行安装。来源标题写作“QWeb7B”,但启动命令和最终 API 请求使用的模型均为 Qwen/Qwen2.5-7B-Instruct。

RTX4090 的显存是 24G,不够用

  • 模型是Qweb-7B,需要15G显存。那么需要使用 --gpu-memory-utilization 0.85 让它只占用一部分。

1. 杀掉残留的僵尸进程,把显存腾出来

pkill -9 -f vllm

pkill -9 -f EngineCore

2. 确认显存是不是真的降下来了

watch -n 1 nvidia-smi

#Qwen2.5-7B-Instruct#vLLM#ModelScope#AutoDL#NVIDIA GeForce RTX 4090

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。