创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Qwen发布Qwen3.8-2.4T-A95B的FP8权重

AI 总结

Qwen推出开放模型系列Qwen3.8,并在Hugging Face Transformers格式下发布了后训练模型Qwen3.8-2.4T-A95B的FP8量化权重和配置文件。该模型总参数量为2.4万亿,激活参数量为950亿。相关文件据称兼容vLLM、SGLang、TokenSpeed及其他所列框架。Qwen称,采用块大小为128的细粒度FP8量化后,模型性能指标与原模型几乎相同,但所提供报告没有独立测量数据。

深度见解

此次发布提供了2.4万亿参数Qwen开放模型的FP8权重和配置文件,并列出了兼容的推理框架。Qwen所称“性能几乎相同”尚无独立测量验证。

Qwen/Qwen3.8-2.4T-A95B-FP8 Text Generation • 2.4T • Updated 14 days ago • 10.6k • 277


base_model:

  • Qwen/Qwen3.8-2.4T-A95B library_name: transformers license: other license_name: qwen3.8-max license_link: LICENSE pipeline_tag: text-generation

Qwen3.8-2.4T-A95B-FP8

[!Note] This repository contains FP8-quantized model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with vLLM, SGLang, TokenSpeed, etc. The quantization method is fine-grained fp8 quantization with block size of 128, and its performance metrics are nearly identical to those of the original model.

#Qwen#Qwen3.8-2.4T-A95B-FP8#Hugging Face Transformers#vLLM#SGLang#TokenSpeed

原文约 8 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。