H20-3e 上的 DeepSeek-V4.1-Flash 服务优化
AI 总结
一篇博客报告称,在作者的 H20-3e 测试中,调整预填充与解码并行、采用 FP8 DeepGEMM 评分、改进 CUDA Graph 以及优化 Indexer 内核,使平均端到端延迟较 TP4 基线降低 65.5%,输出吞吐量达到其 2.91 倍。平均首字延迟从 12.04 秒降至 1.89 秒,但首字之后的平均每输出令牌时间从 3.20 毫秒增至 5.62 毫秒。四 GPU 共置配置相对 BF16 TP4 基线将平均延迟降低 57.26%,吞吐量提高 130.79%。报告还提供了公开 SGLang 分支、特定提交版本及环境复现说明。
On this page