Transformers从SSD流式加载180B MoE专家
AI 总结
Tarek Ziadé 报告了一套 Transformers 实现,将量化 MoE 专家从 SSD 流式加载到有界的设备端缓存,使拥有 32 GB 统一内存的 MacBook M5 得以运行 180B 参数的 Qwen3.8-Flash-Next。作者测得优化后每秒生成 13.9 个 token,称其速度仍落后 Strata 约 6%,并将剩余差距归因于逐层同步。相关实现已通过开放拉取请求提供,但 API 仍在与维护者讨论中。
深度见解
这项工作展示了在消费级笔记本内存内运行大型 MoE 模型的具体路径,不过性能数据为作者自测,API 也尚未定稿,仍需独立验证。
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
Published November 18, 2026
#Hugging Face Transformers#Qwen3.8-Flash-Next#Strata#PyTorch#MacBook M5#llama.cpp#vLLM#Accelerate