腾讯发布 WeMM-Video-4B AWQ W4A16 检查点
腾讯发布了 WeMM-Video-4B 的 AWQ W4A16 Safetensors 检查点,权重文件大小为 7.32 GiB。语言模型前馈权重采用 group-128 INT4,激活和注意力权重保留 BF16。仓库提供 Transformers 5.2.0 的直接加载说明,以及使用已打补丁的 vLLM 0.18.0 和检查点对应 compressed-tensors 配置的服务指南;通过 Transformers 加载需安装 compressed-tensors 0.13.0。腾讯称,该本地检查点在单张 NVIDIA L20 上使用 Transformers 5.2.0 和 PyTorch 2.10.0+cu129 完成了加载及文本、图像、音频、视频帧和带声音视频的生成检查。
此次发布说明了检查点的量化范围,并提供 Transformers 和 vLLM 的加载及服务指南,为 WeMM-Video-4B 提供了低精度部署选项。
tencent/WeMM-Video-4B-AWQ Video-Text-to-Text • 6B • Updated about 4 hours ago • 5
license: apache-2.0 language:
- en
- zh pipeline_tag: video-text-to-text library_name: transformers base_model: tencent/WeMM-Video-4B base_model_relation: quantized tags:
- wemm
- multimodal
- video
- audio
- quantized
- awq
WeMM-Video-4B · AWQ W4A16
Overview
This repository contains the AWQ W4A16 Safetensors variant of WeMM-Video-4B. WeMM-Video is a Chinese–English bilingual family for joint audio-visual understanding and reasoning. It accepts text, images, audio, and video and generates text responses.
#Tencent#WeMM-Video-4B#WeMM-Video-4B-AWQ#Transformers#vLLM#compressed-tensors#NVIDIA L20#AWQ