创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

开发者报告在八张V100上运行DeepSeek-V4.1-Flash

AI 总结

一名开发者报告称,其量化版DeepSeek-V4.1-Flash-1017运行于八张Tesla V100-SXM2 GPU,全部248.8 GB权重均驻留显存,每请求上下文上限为524,288 tokens。该开发者的实测结果显示,代码生成在1K提示后可达215 tokens/s,256K时为160;128K和256K提示的预填充速度约为2,200 tokens/s。该服务器一次处理一个请求,报告还公开了启动配置、A/B测试结果、原始基准数据和相关工具。

深度见解

该报告记录了一个经过调优的量化版DeepSeek-V4.1-Flash在八张较旧V100 GPU上的部署,并提供不同工作负载的吞吐、长上下文测试以及公开配置和基准数据。

#DeepSeek#DeepSeek-V4.1-Flash-1017#Tesla V100-SXM2#ISTA-DASLab#1Cat-vLLM#Model Runner V2

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。