开发者报告在八张V100上运行DeepSeek-V4.1-Flash
AI 总结
一名开发者报告称,其量化版DeepSeek-V4.1-Flash-1017运行于八张Tesla V100-SXM2 GPU,全部248.8 GB权重均驻留显存,每请求上下文上限为524,288 tokens。该开发者的实测结果显示,代码生成在1K提示后可达215 tokens/s,256K时为160;128K和256K提示的预填充速度约为2,200 tokens/s。该服务器一次处理一个请求,报告还公开了启动配置、A/B测试结果、原始基准数据和相关工具。
深度见解
该报告记录了一个经过调优的量化版DeepSeek-V4.1-Flash在八张较旧V100 GPU上的部署,并提供不同工作负载的吞吐、长上下文测试以及公开配置和基准数据。