Rapid-MLX：Apple Silicon 上的开源推理服务器
AI 总结
Rapid-MLX 是一个以 Apache 2.0 许可开源的本地 LLM 推理服务器，基于 MLX 构建，面向 Apple Silicon，同时兼容 OpenAI（/v1/chat/completions、/v1/responses）与 Anthropic Messages（/v1/messages）接口，主打代码智能体所需的可靠工具调用。项目方称在相同权重下比苹果的 mlx-lm 最高快 4 倍：Qwen3.5-9B 4-bit 在 M4 Pro Mac mini 上 18 个流式任务中位数为 1.50×，整文件代码编辑最高 4.27×（46.4→198.4 tok/s），并称 8 路并发下聚合解码达 Ollama 的 3.0 倍（Qwen3.6-35B-A3B）。这些数字均来自项目自测，其对比表多数信息取自各项目自有文档。
深度见解
如果这些速度与工具调用兼容性成立，Mac 开发者可以更低成本地在本地跑编码智能体，而不必依赖云端 API。