Alibaba releases Qwen4-Max foundation model
Alibaba released Qwen4-Max, a foundation model it says has 2.4 trillion total parameters, native vision capabilities, and a million-token context window. The model is available through the 千问AI platform via API, Alibaba Token Plan, and several Qwen applications, while Alibaba plans upcoming open-source releases of smaller Qwen4 models.
Qwen4-Max expands Alibaba’s Qwen model lineup with a new multimodal foundation model and immediate API access, making it relevant to developers evaluating current Qwen models.
IT之家 11 月 16 日消息,阿里通义千问团队今日宣布推出新一代旗舰模型 Qwen4-Max,采用全新的 MoE(混合专家)架构,主干参数规模达到 2.4 万亿,原生支持视觉理解,并提供 100 万 Token 上下文窗口。
与此前 11 月 11 日先行开放的限时预览版不同,此次发布标志着 Qwen4-Max 作为正式版本接入千问 AI 平台,开发者可通过 Token Plan 或 API 调用。

Qwen4-Max 采用稀疏 MoE 架构,围绕 Attention、Residual 和 Embedding 三个层面做了系统性调整。每四层中三层使用 Gated DeltaNet 将历史信息压缩为固定状态,剩余一层以 Qwen Sparse Attention 按 block 粒度选择相关上下文,以降低长序列的注意力计算开销;Gated Residual 将残差流扩展为四条并行分支,增强跨层信息传递;N-gram Embedding 则在第二层以查表方式提供局部 token 模式表示,以较低额外算力扩展模型容量。