vLLM：Kimi K3 在 AMD MI355X 上吞吐超 B300
AI 总结
vLLM 博客发文详解在 AMD Instinct MI355X 上以 vLLM 服务 Kimi K3 的推理优化。文章称，在 AgentX 基准、每用户 50 tokens/s 的 P90 交互性下，八卡 MI355X 系统每 GPU 总吞吐约 7,567 tokens/s，高于 NVIDIA HGX B300 的 6,083，优势 24.4%；按 SemiAnalysis 建模的每 GPU 小时成本（1.50 美元对 2.26 美元）计算，每美元可获得的 token 数高 87.4%。文中列出的手段包括 DCP8 切分 MLA 历史缓存、消除 MoE 输出投影在各 GPU 上的重复计算、融合 KDA 单 token 解码路径，以及用 AMD AITER 汇编优化 MLA 长上下文解码（每 token 时间由 43.8 毫秒降至 23.6 毫秒）。
深度见解
它显示 AMD 在智能体式推理负载上已具备可竞争的软件栈，硬件采购不再只看单卡算力。