Kapitsa 支持 Flint,称苹果芯片解码领先
AI 总结
开源推理引擎 Kapitsa 的贡献者发帖称,该项目(版本 0.2.7)已支持 Recursive 新发布的 Flint 模型:Kapitsa 使用自研 Metal kernel,针对 M1 到 M6 的苹果芯片逐芯片、逐模型优化,而 Recursive 宣称 Flint 面向 32GB 以上 Mac 的编码场景,性能超过 Qwen 的 35B 稀疏 MoE 并接近 Qwen 27B 稠密模型。在一台 48GB 的 MacBook Pro M4 Pro 上,该作者自测短上下文解码为 127.9 tok/s,rec 0.1.0 为 126.6 tok/s,llama.cpp b11804 为 79.6 tok/s;Kapitsa 相对 rec 的解码优势从 8K 上下文的 1.06 倍扩大到 128K 的 1.30 倍。作者说明只测了一台 Mac、尚未在 M5 上运行 Flint、M5 及以上机型的 prefill 尚未优化;用 8 张 H200 为 Flint Q4 训练的 KFlash 树形草稿模型(内部称解码提速 1.4 倍且无精度损失)将于周一发布,使用需 32GB 以上 Mac 和 22.6GB 下载。
深度见解
苹果芯片 Mac 本地推理是一个不小的实践群体,该帖提供了开源引擎在同一台机器上与 llama.cpp 和 Recursive 自家运行时的自测对比,同时明确说明数据仅来自单台设备、未获独立验证。