创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

NVIDIA Model Optimizer 整合多种模型优化技术

AI 总结

NVIDIA 将 Model Optimizer 描述为一个开源库,可整合量化、剪枝、神经架构搜索、蒸馏、推测解码和稀疏化等技术来加速模型。该项目支持 Hugging Face、PyTorch 和 ONNX 模型,提供用于组合优化技术并导出优化量化检查点的 Python API,并与 Megatron-Bridge、Megatron-LM 和 Hugging Face Accelerate 集成。生成的检查点可部署到 SGLang、TensorRT-LLM、TensorRT 和 vLLM。其统一的 Hugging Face 导出 API 支持 transformers 和 diffusers 模型。

深度见解

该项目为开发者提供了一种统一方式,可组合多种模型优化技术,并为多个受支持的推理框架导出量化检查点。

A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.

link

https://nvidia.github.io/Model-Optimizer/


Banner image

NVIDIA Model Optimizer

Documentation | Roadmap | Announcement Blogs

#NVIDIA Model Optimizer#TensorRT-LLM#TensorRT#vLLM#SGLang#Hugging Face#PyTorch#ONNX#Megatron-Bridge#Megatron-LM#Hugging Face Accelerate#Diffusers

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。