创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

五机串联运行Qwen3.8 Flash Next

AI 总结

r/LocalLLaMA 用户 StayLameBro 称,他把两台游戏 PC(RTX 2060 Super 与 RX 9060 XT)、一台 M4 Pro MacBook 和两部 iPhone 17 Pro Max 通过以太网与 USB-C 串成一条推理链,共同运行 Qwen3.8 Flash Next 这一 48 层、每层 512 个专家的混合专家模型。作者给出的自测数据是:16k 上下文约 42 tok/s、32k 约 39–41 tok/s、60k 约 37–39 tok/s 的生成速度,长上下文下读提示约 850–900 tok/s;他称靠“流水线投机”让各设备不再空等,平均每步产出约 2.2 个 token。作者同时说明,当前布局可服务 69.6k 上下文,受限于第二台 PC 的 16GB 显存;另一套布局曾读过超过 164k token 的单个提示,完整 262k 布局尚待完成,代码称“即将”进仓库。

深度见解

帖子展示了一种极端的分层方案:用流水线投机解码把两台游戏 PC、一台 MacBook 和两部 iPhone 拼成单机放不下的 MoE 模型服务,且全部权重常驻显存、内存或统一内存,不从磁盘流式加载。

#Qwen#Qwen3.8 Flash Next#backburner#Apple M4 Pro#iPhone 17 Pro Max#RTX 2060 Super#Radeon RX 9060 XT

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。