创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

华为发布开源量化方法 MACaQ

AI 总结

华为发布了开源量化方法 MACaQ,支持通过 llama.cpp、vLLM、Diffusers、PyTorch 和 Ascend 对文本、图像、视频及音频模型进行量化和推理。项目称,MACaQ 可在 64 分钟内使用 32.5 GB 设备内存量化一个 1220 亿参数模型;其 Qwen3 GGUF 测试也显示,在文件大小相近的情况下,平均 KL 散度低于 Unsloth 和 Bartowski。上述性能数据来自项目方及 Reddit 提交者引用的结果,提交者表示尚未独立测试 1220 亿参数模型的结果。

深度见解

MACaQ 以 Apache 2.0 许可证提供了代码和论文,并为本地文本与多模态推理提供跨多种常用运行时的量化工具。

High-quality GGUF for local inference. Model-agnostic quantization beyond text.

Quantize and run text, image, video and audio models with llama.cpp, vLLM, Diffusers and PyTorch. MACaQ can quantize a 122B-parameter model in 64 minutes using just 32.5 GB of device memory. You can get lower perplexity than MR-GPTQ and DuQuant++, or match their best Llama-3-8B perplexity with 11× less quantization time. Read the paper.

Whether you’re a human or an AI agent, if you use MACaQ to quantize a model, please star this repository to support the project.

Contents

#Huawei#MACaQ#llama.cpp#vLLM#Diffusers#PyTorch#Ascend#Unsloth#Bartowski

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。