创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Kapitsa:面向 Apple Silicon 的开源推理引擎

AI 总结

Nace.ai 的开发者 Ye 在 r/LocalLLaMA 发布 Kapitsa,一个以 Apache 2.0 许可开源的 Apple Silicon 推理引擎,目标是让 Mac 本地运行编码智能体。该引擎只支持 Qwen(3.5 4B、3.8 27B、3.6 35B-A3B、3.8 Flash-Next)与 NVIDIA Nemotron(3.5 Lightning、Bolt、Super-VL 及 Dory 4B)两个模型家族,以便为各架构定制 Metal kernel。作者公布了在 M1 Pro 16GB、M4 Pro 48GB 与 M5 Max 128GB 上的解码速度对比,并称多数情况下快于 mlx-serve、oMLX、Ollama、MLX 与 llama.cpp,但在 Qwen3.8 Flash-Next 上落后 mlx-serve 和 oMLX 约 2–3%。作者同时提醒“不要相信基准测试”,并建议用户用内置的 kapitsa bench 自行测试;他还说明 4 位量化会带来一定质量损失,且代码较新、可能存在缺陷。

深度见解

作者称其动机是企业内网环境无法联网、云模型过旧,因此需要能在 Mac 上本地跑编码智能体的引擎;但全部性能数据均为作者自测,其本人也明确表示不要直接采信。

部分来源内容未展示,可前往原文继续阅读。

#Kapitsa#Nace.ai#Qwen#Nemotron#Apple Silicon#MLX#llama.cpp#Ollama#mlx-serve#oMLX

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。