推理集合通信建模
AI 总结
一篇关于推理基础设施的报告将集合通信时延拆解为同步步数、启动时延和每卡传输字节数，并结合NVLink、RDMA、NUMA与PCIe拓扑分析差异。内容比较了ReduceScatter、AllGather、AllReduce、AllToAll等原语，并给出模型估算以及H20机内和跨机通信的实测数据。所引H20拓扑参考了SGLang公布的实机矩阵，但所供报告未说明这些实测是否经过独立复现。
深度见解
该模型可帮助部署团队比较通信算法、区分每卡流量与整机出口流量，并排查GPU与网卡的亲和性问题。报告指出，小消息通常更受同步步数影响，大消息则主要受有效带宽和跨机通信量制约。
把集合通信拆成步数、启动时延和每卡字节数，再结合 NVLink、RDMA、NUMA 与 PCIe 拓扑解释实测差异。
本文为「推理 INFRA 方法论」系列第 2/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。
常见通信算法
| 类别 | 原语 / 算法 | 语义或机制 | 每卡字节 | 步数 | 备注 |
|---|---|---|---|---|---|
| 多对多 | ★ ReduceScatter | 各卡拿到 1/P 的规约结果 | (P−1)/P·S ✓下界 | P−1（ring） | 每卡各发，P 张网卡并行 |
| ★ AllGather | 各卡拿到全量拼接 | (P−1)/P·S ✓下界 | P−1（ring） | = ReduceScatter 的逆向 | |
| ★ AllReduce | 各卡拿到全量规约 | 2(P−1)/P·S ✓下界 | 2(P−1)（ring） | = RS + AG，见下方变体 | |
| ★ AllToAll | 每卡给每卡发不同数据（分块转置） | (P−1)/P·S ✓下界 | 1（全对并发） | 字节由语义锁死，省不掉 | |
| 单端点 | Broadcast | root 发给所有卡，内容相同 | root 出 (P−1)·S（朴素） 每卡收 S | log₂P（树） | 朴素实现 root 出口瓶颈 |
| Scatter | root 切片发给各卡，内容不同 | root 出 (P−1)/P·S 每卡收 S/P | 1 | 字节数同 RS，但全压一张网卡 | |
| Gather | 各卡数据汇到 root 拼接 | root 入 (P−1)/P·S 每卡发 S/P | 1 | incast：P−1 卡同时打 root | |
| Reduce | 各卡数据汇到 root 规约 | 每卡发 ≈S | log₂P（树） | 规约计算集中在 root |