创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

ArtificialAnlys:DeepSeek V4.1 Flash 在 GB300 NVL72 上单智能体吞吐最高提升 1.5 倍

AI 总结

ArtificialAnlys 表示,在其模拟真实智能体编码工作负载的数据中心基准 AA-AgentPerf 上,DeepSeek V4.1 Flash 在 NVIDIA GB300 NVL72 上过去一个月的每智能体 token 速度最高提升 1.5 倍。单个智能体达到每秒 848 个 token,此前为 596(1.42 倍);每 GPU 吞吐约提升 1.6 倍,对应约每秒 80 个 token。ArtificialAnlys 将提升归因于新版 vLLM、面向 GB300 的 DeepSeek V4.1 新 vLLM 内核、FlashInfer 自动调优、更完整的 CUDA graph 覆盖、经过调校的推测解码,以及在 NVIDIA 更新后的 Dynamo + vLLM 配置中让 prefill 与 decode 运行在同一批 GPU 上。

深度见解

ArtificialAnlys 将实测吞吐提升归因于推理服务栈的多项更新,凸显软件和系统配置对 DeepSeek V4.1 Flash 在 GB300 NVL72 上性能的影响。

DeepSeek V4.1 Flash speeds on GB300 NVL72 have increased by up to 1.5x tok/s per agent over the past month on AA-AgentPerf, our benchmark of datacenter systems running realistic agentic coding workloads

This improvement comes from a newer vLLM version, new vLLM kernels for DeepSeek V4.1 on GB300, FlashInfer autotuning, fuller CUDA graph coverage, tuned speculative decoding, and running prefill and decode on the same GPUs in NVIDIA’s updated Dynamo + vLLM setup

➤ Faster speeds: 848 tok/s for a single agent, up from 596 (1.42x)

➤ Higher throughput: ~1.6x the throughput per GPU at ~80 tok/s per agent

#DeepSeek#DeepSeek V4.1 Flash#NVIDIA GB300 NVL72#vLLM#FlashInfer#NVIDIA Dynamo#ArtificialAnlys#AA-AgentPerf

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。