TensorSharp支持MiniMax-M3.1-Flash并公布8× A40测试
AI 总结
一名TensorSharp开发者称,在MiniMax-M3.1-Flash开放权重发布首日便加入支持,涵盖GGUF推理、面向MiniMax Sparse Attention的专用CUDA内核、通过OpenAI兼容API提供的文本与图像输入、工具调用、多GPU运行和DSpark推测解码。开发者在8张NVIDIA A40上的早期测试中报告,64K执行器预填充吞吐量为2,567 tok/s,而受测llama.cpp分支为262 tok/s;但这些结果仅来自一台主机、一种量化版本和未提交构建,且未公开原始运行记录。
深度见解
该报告提供了MiniMax-M3.1-Flash早期本地推理实现及多GPU对比数据,但单一测试环境和不完整的视觉验证限制了基准结果的适用范围。
部分来源内容未展示,可前往原文继续阅读。
#TensorSharp#MiniMax-M3.1-Flash#NVIDIA A40#llama.cpp#Unsloth#CUDA#DSpark