创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

H20-3e 上的 DeepSeek-V4.1-Flash 服务优化

AI 总结

一篇博客报告称,在作者的 H20-3e 测试中,调整预填充与解码并行、采用 FP8 DeepGEMM 评分、改进 CUDA Graph 以及优化 Indexer 内核,使平均端到端延迟较 TP4 基线降低 65.5%,输出吞吐量达到其 2.91 倍。平均首字延迟从 12.04 秒降至 1.89 秒,但首字之后的平均每输出令牌时间从 3.20 毫秒增至 5.62 毫秒。四 GPU 共置配置相对 BF16 TP4 基线将平均延迟降低 57.26%,吞吐量提高 130.79%。报告还提供了公开 SGLang 分支、特定提交版本及环境复现说明。

On this page

#DeepSeek-V4.1-Flash#NVIDIA H20-3e#SGLang#DSpark

原文约 13 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。