MiniMax发布M3的MXFP8量化版
AI 总结
MiniMax 的模型卡将 MiniMax-M3-MXFP8 列为 MiniMax-M3 的 MXFP8 量化版本，并标注为图文到文本模型。模型卡称，M3 是一款原生多模态模型，支持 100 万 token 上下文，总参数约 4280 亿、激活参数约 230 亿，从训练第一步起就融合文本、图像和视频。该模型采用 MiniMax Sparse Attention；MiniMax 称，这一稀疏注意力机制面向百万 token 上下文设计，相比 GQA 可减少注意力计算量和内存占用。MiniMax 还称，在 100 万 token 上下文中，其预填充速度为 M2 的 9 倍、解码速度为 15 倍，每 token 计算量降至二十分之一；这些数据均为厂商披露。
深度见解
此次发布增加了 MiniMax 百万 token 上下文多模态模型的 MXFP8 量化版本，模型卡列出的许可证名称为 minimax-community。
MiniMaxAI/MiniMax-M3-MXFP8 Image-Text-to-Text • 427B • Updated 5 days ago • 48.8k • 63
pipeline_tag: image-text-to-text license: other license_name: minimax-community license_link: LICENSE library_name: transformers tags:
- multimodal
- moe
- agent
- coding
- video base_model:
- MiniMaxAI/MiniMax-M3
#MiniMax#MiniMax-M3-MXFP8#MiniMax-M3#MiniMax Sparse Attention