创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Kapitsa 支持 Flint,称苹果芯片解码领先

AI 总结

开源推理引擎 Kapitsa 的贡献者发帖称,该项目(版本 0.2.7)已支持 Recursive 新发布的 Flint 模型:Kapitsa 使用自研 Metal kernel,针对 M1 到 M6 的苹果芯片逐芯片、逐模型优化,而 Recursive 宣称 Flint 面向 32GB 以上 Mac 的编码场景,性能超过 Qwen 的 35B 稀疏 MoE 并接近 Qwen 27B 稠密模型。在一台 48GB 的 MacBook Pro M4 Pro 上,该作者自测短上下文解码为 127.9 tok/s,rec 0.1.0 为 126.6 tok/s,llama.cpp b11804 为 79.6 tok/s;Kapitsa 相对 rec 的解码优势从 8K 上下文的 1.06 倍扩大到 128K 的 1.30 倍。作者说明只测了一台 Mac、尚未在 M5 上运行 Flint、M5 及以上机型的 prefill 尚未优化;用 8 张 H200 为 Flint Q4 训练的 KFlash 树形草稿模型(内部称解码提速 1.4 倍且无精度损失)将于周一发布,使用需 32GB 以上 Mac 和 22.6GB 下载。

深度见解

苹果芯片 Mac 本地推理是一个不小的实践群体,该帖提供了开源引擎在同一台机器上与 llama.cpp 和 Recursive 自家运行时的自测对比,同时明确说明数据仅来自单台设备、未获独立验证。

#Kapitsa#Recursive#Flint#llama.cpp#Qwen#Nemotron#Metal#KFlash#Apple Silicon

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。