Betelgeuse 让超大 MoE 模型跑上消费级硬件
AI 总结
开发者 /u/zyxciss 在 r/LocalLLaMA 称，llama.cpp 分支 Betelgeuse 可在 RTX 3060 12GB 和 16GB DDR4 内存上运行 68GB 的 Qwen 3.8 Flash Next MoE 模型。其自报冷启动速度为 16.80 token/s，预热后达 22.03 token/s，峰值可达 48 token/s，并在不裁剪路由专家的情况下保持字节级一致输出。该项目通过显存专家槽池、内存受害者缓存和 io_uring 分页减少存储读取。
深度见解
若结果能获独立复现，Betelgeuse 可让超大 MoE 模型在消费级硬件上以不牺牲输出一致性的方式运行，为 stock llama.cpp 和 Strata 提供替代方案。