创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

vLLM 0.31.0扩展推理与模型支持

AI 总结

vLLM v0.31.0带来大规模推理服务和模型支持更新,包括针对DeepSeek-V4.1-Flash的优化、Model Runner V2推测解码、专家并行扩展以及更完善的多模态支持。新版本还加入`vllm preload`权重缓存守护进程和基于CRIU的实验性初始化引擎快照,同时包含多项安全与破坏性变更。

深度见解

该版本增强了部署稀疏、多模态和混合专家模型的开源基础设施。

vLLMDeepSeek-V4.1-FlashDeepGEMM

原文约 22 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。