Kapitsa 0.2 发布 KFlash 推测解码
AI 总结
开源苹果芯片推理引擎 Kapitsa 发布 0.2 版本,推出开发者称为 KFlash 的新推测解码方法,消息发布在 r/LocalLLaMA 社区。KFlash 在一次前向中检查草稿模型候选 token 的最佳优先树,而用于对比的 DFlash2 只检查单条链并在首个错误猜测处停止。据开发者自测,在 48GB 的 MacBook Pro M4 Pro 上,Kapitsa 在 Qwen3.8 27B 上达到 63 tokens/s,Splash 1.4.0(DFlash2)为 53 tokens/s;在 16GB M1 Pro 上运行 Qwen3.5 4B 时为 95 对 62 tokens/s。作者提醒读者不要轻信跑分,应自行测试。
深度见解
该帖子在消费级 Mac 上横向对比了多种本地推理引擎的推测解码方案,但作者明确说明数据为自测,需独立复现。