Roofline 大模型推理：用算力与带宽建立性能预算
一篇同步自个人博客的文章作为八篇「推理 INFRA 方法论」系列的第一篇，将 Roofline 模型用于 GPU 推理。文中以 T ≥ max(W/F, Q/BW) 估算时延，以 P ≤ min(F, I×BW) 表示有效性能上限，并通过算术强度、硬件转折点和实际 HBM 流量判断 GEMM 与 Attention 的瓶颈。H20 案例和作者自测数据区分了量化、合批与算子融合各自可能适用的场景。系列安排涵盖通信、分布式推理、硬件、Attention、MoE、PD/EPD 与核心优化。基准结果均为自行发布，未获独立核验。
该框架将「感觉推理慢」转化为时延预算和优化策略的诊断流程，其计算与案例具有实践参考价值；不过，相关基准结果仅来自单一自发布来源。
从算术强度、硬件转折点和实际 HBM 流量出发，判断 GEMM 与 Attention 的瓶颈，并区分量化、合批和融合的适用条件。
本文为「推理 INFRA 方法论」系列第 1/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。
任何一段 GPU 上的计算，时间都花在两件事上：算（执行浮点运算）和搬（把数据在存储单元和计算单元之间搬运，通信也算在搬运内）。硬件对这两件事各有一个上限：算力 F（FLOP/s）和带宽 BW（Byte/s）。理想流水下两者重叠
T ≥ max( W/F , Q/BW )
↑算的时间 ↑搬的时间
通常来说在优化模型之前，需要解答几个问题：
① 性能的物理上限是多少？ P ≤ min(F, I×BW)，P为有效算力，F为算力上限，I×BW为带宽侧上限（算子的算术强度×带宽），时延下限 T ≥ max(W/F, Q/BW)。实测贴到这条线就该收手；离得远才有优化空间。它还能在没写一行代码时做时延预算——比如”这个模型在 H20 这张卡上，每生成一个词最快多少毫秒”是可以纸面算出来的，这直接服务于服务质量目标（SLO，Service Level Objective，即对时延的承诺指标）的制定。