Attention与MoE分布式推理的取舍
AI 总结
报告围绕权重、KV缓存、激活、通信、容量和延迟预算，分析张量并行、数据并行、专家并行、上下文并行与流水线并行的取舍。作者认为，GQA可按KV头切分，张量并行度不应超过KV头数；MLA的共享潜变量缓存在张量并行下需要复制。文章还比较了MoE张量并行与专家并行在通信、显存、负载均衡和实现复杂度方面的差异。报告标题将其标为第2篇，正文则称其为“推理基础设施方法论”系列的第3篇，共8篇。其比较数据与结论属于作者分析，现有证据未提供独立佐证。
深度见解
报告提出了一套工程判断框架：先确定模型状态如何切分，再核算单机容量、通信、显存与延迟约束，从而为大规模模型推理选择并行策略提供参考。
围绕权重、KV、激活和通信预算，推演 Attention 与 MoE 的并行组合，并分析长上下文和流水线的额外约束。
本文为「推理 INFRA 方法论」系列第 3/8 篇。发布日期按 2026 年 1–11 月编排；内容统一整理于 2026-11-01，包含年内后续更新的模型与实验资料。
Attention/MoE组合方式
Attention-TP/DP和MLA的关系:
GQA:KV 沿 n_kv 个头切 → TP ≤ n_kv(=8 时 TP8 正好),TP 同时摊薄 KV 显存 ✅
MLA:KV 是全头共享的一个 latent → 无 head 维可切 → TP 下只能【复制】,但是tp能切weight降低计算量
TP8 = 同一份 KV 存 8 遍 → 显存爆炸 ❌
⟹ MLA 模型 attention 必走 DP:每卡管自己的请求和 KV,不复制
Attention-DP/TP和MoE-TP/EP组合下通信机制区别：