Splash分支从SSD加载Qwen专家
r/LocalLLaMA 一名用户称，约800行的 Splash 1.4.0 分支在24GB M5 MacBook Air 上运行 Qwen3.8-Flash-Next 的 ISTA GSQ-RCO Q2_0 版本，通过从SSD流式加载未驻留专家，达到48.8 tokens/s。该配置将24,576个专家槽位中的6,800个保存在约8.8GB内存中，报告支持256K上下文，并在 pi 智能体使用中达到约45 tokens/s。缓存感知路由据称可将SSD读取量减半，桌面优先重叠则在作者11项固定测试中输出了逐token一致的结果。
该报告展示了通过SSD流式加载专家来优化大上下文 Qwen 本地推理的详细方案，但相关性能仍只是单个用户尚未独立验证的结果。
Qwen3.8-Flash-Next (ISTA GSQ-RCO Q2_0) + Flash-Next-DFlash2 draft on a MacBook Air M5 (24 GB), on Splash 1.4.0 with a small fork. Experts that don't fit are streamed from the SSD: 6,800 of 24,576 expert slots (~28%) live in ~8.8 GB, the rest is read on demand, 256K context.
Decode
| Setup | code | tool | explain | avg t/s |
|---|---|---|---|---|
| Stock Splash 1.4.0 | 31.6 | 29.5 | 25.4 | 28.8 |
| + cache-aware routing (bias 2, top 4 protected) | 48.6 | 45.7 | 35.1 | 43.1 |
#Qwen3.8-Flash-Next#Splash 1.4.0#ISTA GSQ-RCO Q2_0#Flash-Next-DFlash2#pi#MacBook Air M5