DeepSeek开源DeepInfer生产推理框架
DeepSeek开源了用于DeepSeek-V4.1-Flash高吞吐、低延迟生产服务的推理框架DeepInfer。公开内容包括分布式推理、推测解码、SWA Bounded Replay、结构化输出，以及在API协议与模型Token之间进行转换的deepseek-recipe组件。DeepSeek称，该系统支持英伟达SM100 Blackwell GPU和华为昇腾950 NPU，公开支持列表中未包括较旧的英伟达架构。根据DeepSeek公布的数据，单集群每天可处理155万亿Token，按谷价计算每GPU小时收入为38美元。此次发布并未涵盖DeepSeek全部线上基础设施；由于与内部系统耦合较深，KVCache管理和跨副本负载均衡代码尚未完整公开。
此次发布公开了生产级大模型推理栈的部分内容，包括调度、缓存、执行和部署模式。DeepSeek表示，分享部署经验旨在帮助开发者和企业优化推理吞吐与延迟，并更高效地构建私有化及公有云部署。
10月20日，DeepSeek宣布正式开源大规模云服务推理框架 DeepInfer。该框架已经用于 DeepSeek V4.1 Flash 的大规模线上推理服务。
据介绍，DeepInfer集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并能够运行在 NVIDIA 与华为昇腾平台上。按照 DeepSeek 公布的数据，目前基于这套系统运行的单一集群服务吞吐已经达到每天155万亿 Token，按谷价计算，整体收入达到每卡每小时38美元。
DeepSeek同时开源了生产级 Token 编解码组件 deepseek-recipe，用于在主流大模型 API 协议和模型 Token 之间进行高效、准确转换，其处理逻辑与 DeepSeek 官方 API 完整对齐，从而使第三方部署能够尽可能获得与官方服务一致的 API 体验。
#DeepSeek#DeepInfer#DeepSeek-V4.1-Flash#deepseek-recipe#NVIDIA#Huawei Ascend#SM100 Blackwell#Ascend 950