vLLM推理性能分析与调优方法论
AI 总结
这篇教程从吞吐量、请求延迟和显存利用率三个维度讲解如何衡量并优化LLM推理服务,并把延迟进一步拆分为TTFT和TPOT。文章建议先用性能剖析定位算力、带宽、显存容量或下发瓶颈,再调整批处理预算、并发上限、前缀缓存、分块预填充和推测解码等配置。作者同时警告,部分vLLM命令、环境变量和指标名称并不存在,昇腾NPU环境还需替换NVIDIA相关工具。
深度见解
该文提供了按业务目标选择vLLM调优方向的实用框架,有助于减少缺乏诊断依据的参数试错。
① 这篇讲什么——怎么量化地衡量和优化推理服务:吞吐、延迟、显存三者怎么权衡,看哪些指标、调哪些参数。
② 它的核心观点对不对——**"不可能三角"的思路是对的,而且正好解释了你之前那个疑问**:为什么 P 节点 token 预算大、并发小,D 节点预算小、并发大——那就是这套权衡在 PD 分离里的具体落地。
③ ⚠️ 但它的 API 和指标名基本是编的——python -m vllm.entrypoints.benchmark、VLLM_PROFILING_ENABLED=1、还有那些 vllm_xxx 指标名(少了 vllm: 前缀、好几个根本不存在)都别当真。而且它是 NVIDIA 视角,你是昇腾 NPU,工具名要换。
下面从零讲。
一、先建立三个指标的直觉(餐厅版)
| 指标 | 是什么 | 餐厅比喻 | 谁最关心 |
|---|---|---|---|
| 吞吐量 Throughput | 单位时间总共吐多少 token(Tokens/s) | 一小时总共出多少道菜 | 成本/离线批处理 |
| 延迟 Latency | 单个请求多久完成 | 一桌客人等多久上菜 | 交互/聊天体验 |
| 显存利用率 | 显存用了多少(决定能装多少 KV) | 仓库堆得多满 | 能不能同时接更多客 |