创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

vLLM Ascend v0.30.0 发布

AI 总结

vLLM Ascend 项目宣布 v0.30.0 为最新稳定版本。该项目是用于在华为昇腾 NPU 上运行 vLLM 的社区维护硬件插件。项目方建议用户参考官方指南,并列出 Linux、Python 3.12、CANN 9.2.1、PyTorch 2.10.0、TorchNPU 2.10.0.post7 以及匹配版本的 vLLM 等环境要求。

深度见解

该版本的意义在于,项目方为在华为昇腾 NPU 硬件上运行 vLLM 提供了明确的部署路径。

Community maintained hardware plugin for vLLM on Huawei Ascend

link

https://docs.vllm.ai/projects/ascend


vLLM Ascend Plugin

| About Ascend | Documentation | Support Matrix | #SIG-Ascend | Users Forum | Weekly Meeting |

#vLLM Ascend#vLLM#Huawei Ascend NPU#PyTorch#TorchNPU#CANN

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。