白皮书实测8GB显卡运行Qwen2.5-7B
一版v0.3白皮书记录了作者在配备8GB显存的RTX 4060 Laptop笔记本上，使用vLLM 0.33.0运行Qwen2.5-7B-Instruct-AWQ和GPTQ-Int4的部署过程。测试采用4-bit量化、8192上下文、0.85显存利用率及eager模式，约占用7.3GB显存，单请求256 token吞吐为53.2至54.3 tok/s。论文还复现了三个vLLM问题并公开日志、脚本和补丁，但结果仅覆盖一台Windows设备，未能同机比较bf16与GGUF方案。
这些配置与排障材料为仅有8GB显存的开发者提供了运行量化7B模型的具体可复现参考。
完整白皮书、复现脚本与补丁已开源：github.com/Hayabusa-YL…
版本：v0.3（2026-11-05） 测试机：Windows 笔记本，RTX 4060 Laptop 8GB，24GB 内存 引擎：vLLM 0.33.0，模型 Qwen2.5-7B-Instruct-AWQ / GPTQ-Int4 目标读者：只有一张 8GB 显卡、想本地跑 7B 模型但被 OOM 和报错劝退的开发者 分工说明：选题、硬件环境与验收由作者本人负责；实测执行、排障、数据分析与初稿撰写由本地 AI 智能体（大肥鱼）完成，数据均来自本机真实运行日志。
第 1 章 为什么盯上 8GB 这个数字
RTX 4060 Laptop 8GB 是 2024 年以来最普及的消费级独显之一。几乎所有"本地跑大模型"的教程都以 24GB 卡（4090）为基准写参数，8GB 用户照抄就是一路 OOM。但 8GB 并非跑不了 7B：4-bit 量化后的 Qwen2.5-7B 权重约 5.2GB，剩下的 2.8GB 才决定你能不能跑、能跑多稳。
这本白皮书只回答三个问题：
#vLLM 0.33.0#Qwen2.5-7B-Instruct-AWQ#Qwen2.5-7B-Instruct-GPTQ-Int4#NVIDIA GeForce RTX 4060 Laptop GPU#NVIDIA#FlashInfer#PyTorch#Microsoft Windows 11#Windows Subsystem for Linux