创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Transformers从SSD流式加载180B MoE专家

AI 总结

Tarek Ziadé 报告了一套 Transformers 实现,将量化 MoE 专家从 SSD 流式加载到有界的设备端缓存,使拥有 32 GB 统一内存的 MacBook M5 得以运行 180B 参数的 Qwen3.8-Flash-Next。作者测得优化后每秒生成 13.9 个 token,称其速度仍落后 Strata 约 6%,并将剩余差距归因于逐层同步。相关实现已通过开放拉取请求提供,但 API 仍在与维护者讨论中。

深度见解

这项工作展示了在消费级笔记本内存内运行大型 MoE 模型的具体路径,不过性能数据为作者自测,API 也尚未定稿,仍需独立验证。

Back to Articles

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

Published November 18, 2026

Update on GitHub

Upvote 32

Tarek Ziadé tarekziade

#Hugging Face Transformers#Qwen3.8-Flash-Next#Strata#PyTorch#MacBook M5#llama.cpp#vLLM#Accelerate

原文约 10 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。