腾讯发布 Hy4-base 771B 多模态 MoE 模型
AI 总结
腾讯在 Hugging Face 发布的模型列表将 Hy4-base 列为 771B 参数图文到文本模型;其模型卡称语言骨干网络为 770B 总参数、每 token 激活 49B 参数,并支持 1M token 上下文。模型支持文本、图像和视频理解,同时提供 Transformers 支持、GGUF 权重、微调流程以及 vLLM 和 SGLang 部署方案。腾讯还报告了多项基准与应用改进,但目前仅有单一模型列表作为证据,相关性能声明尚未独立验证。
深度见解
Hy4-base 是一次规模较大的开放权重多模态 MoE 模型发布,将大规模语言模型、百万 token 上下文、视觉与视频输入、推测解码及生产部署资源集中在同一模型中。
tencent/Hy4-base Image-Text-to-Text • 771B • Updated about 3 hours ago • 2 • 5
license: other license_name: tencent-hy-license license_link: https://huggingface.co/tencent/Hy4-base/blob/main/LICENSE library_name: transformers pipeline_tag: image-text-to-text tags:
- hunyuan
- hy4
- moe
- multimodal
- pretrained
中文 | English
#Tencent#Hy4-base#DFly2#Transformers#vLLM#SGLang#AngelSlim#GGUF