Kapitsa:面向 Apple Silicon 的开源推理引擎
AI 总结
Nace.ai 的开发者 Ye 在 r/LocalLLaMA 发布 Kapitsa,一个以 Apache 2.0 许可开源的 Apple Silicon 推理引擎,目标是让 Mac 本地运行编码智能体。该引擎只支持 Qwen(3.5 4B、3.8 27B、3.6 35B-A3B、3.8 Flash-Next)与 NVIDIA Nemotron(3.5 Lightning、Bolt、Super-VL 及 Dory 4B)两个模型家族,以便为各架构定制 Metal kernel。作者公布了在 M1 Pro 16GB、M4 Pro 48GB 与 M5 Max 128GB 上的解码速度对比,并称多数情况下快于 mlx-serve、oMLX、Ollama、MLX 与 llama.cpp,但在 Qwen3.8 Flash-Next 上落后 mlx-serve 和 oMLX 约 2–3%。作者同时提醒“不要相信基准测试”,并建议用户用内置的 kapitsa bench 自行测试;他还说明 4 位量化会带来一定质量损失,且代码较新、可能存在缺陷。
深度见解
作者称其动机是企业内网环境无法联网、云模型过旧,因此需要能在 Mac 上本地跑编码智能体的引擎;但全部性能数据均为作者自测,其本人也明确表示不要直接采信。
部分来源内容未展示,可前往原文继续阅读。
#Kapitsa#Nace.ai#Qwen#Nemotron#Apple Silicon#MLX#llama.cpp#Ollama#mlx-serve#oMLX