腾讯发布 Hy4 多模态 MoE 模型
AI 总结
据腾讯混元团队的官方模型卡,Hy4 是一款支持文本、图像和视频理解的新一代 MoE 旗舰模型。其 770B 参数语言骨干每 token 激活 49B 参数,并支持 100 万 token 上下文,同时内置 3.3B 参数的 DFly2 草稿模型用于推测解码。腾讯还提供了 FP8、GGUF 权重,vLLM 和 SGLang 部署方案、微调流程,以及采用 Tencent Hy License 的相关文档。
深度见解
Hy4 将多模态理解、超长上下文和开放部署资源整合到一款大型 MoE 旗舰模型中,是一次重要发布,但其性能数据来自厂商模型卡,尚未得到独立验证。
tencent/Hy4-FP8 Image-Text-to-Text • 774B • Updated about 3 hours ago • 2 • 1
license: other license_name: tencent-hy-license license_link: https://huggingface.co/tencent/Hy4-FP8/blob/main/LICENSE library_name: transformers pipeline_tag: image-text-to-text tags:
- hunyuan
- hy4
- moe
- multimodal
- instruct
- fp8
- quantized
中文 | English
#Tencent Hy4#Tencent Hy Team#DFly2#DeepSeek#GLM#vLLM#SGLang#AngelSlim