五机串联运行Qwen3.8 Flash Next
AI 总结
r/LocalLLaMA 用户 StayLameBro 称,他把两台游戏 PC(RTX 2060 Super 与 RX 9060 XT)、一台 M4 Pro MacBook 和两部 iPhone 17 Pro Max 通过以太网与 USB-C 串成一条推理链,共同运行 Qwen3.8 Flash Next 这一 48 层、每层 512 个专家的混合专家模型。作者给出的自测数据是:16k 上下文约 42 tok/s、32k 约 39–41 tok/s、60k 约 37–39 tok/s 的生成速度,长上下文下读提示约 850–900 tok/s;他称靠“流水线投机”让各设备不再空等,平均每步产出约 2.2 个 token。作者同时说明,当前布局可服务 69.6k 上下文,受限于第二台 PC 的 16GB 显存;另一套布局曾读过超过 164k token 的单个提示,完整 262k 布局尚待完成,代码称“即将”进仓库。
深度见解
帖子展示了一种极端的分层方案:用流水线投机解码把两台游戏 PC、一台 MacBook 和两部 iPhone 拼成单机放不下的 MoE 模型服务,且全部权重常驻显存、内存或统一内存,不从磁盘流式加载。