Betelgeuse开发者报告DeepSeek推理提速
AI 总结
Betelgeuse 开发者称,在 RTX 3060 12GB 和 16GB 内存上运行 DeepSeek V4.1 Flash Q8_XL (1017),热预填充达到 61.80 tok/s,解码约为 18–19 tok/s。其方案结合驻留缓存分区、单遍分层主序预填充和轮次结束后的显存整合,以缓解超大 MoE 离核推理的预填充瓶颈。数据均为开发者自行报告,与 Strata 的比较也使用了不同硬件配置。
深度见解
该方案可能为消费级硬件运行超大离核 MoE 模型改善首字延迟,但相关性能数据仍需独立复现。