Apple 发布 MLX 新版：Mac 集群分布式推理
AI 总结
Apple 机器学习研究团队发布博文，介绍今天上线的新版 MLX 如何结合 macOS 26.2 引入的 Thunderbolt 5 低延迟 RDMA 驱动，在多台 Mac Studio 上分布式运行前沿规模的开放权重模型。在四台搭载 M5 Ultra 的 Mac Studio 上，总参数 816B、激活 42B 的 MoE 模型 Muse Spark Open 以 NVFP4 精度、8,192 tokens 上下文生成速度超过 36 tokens/秒；单台 512GB Mac Studio 则可运行 Qwen 3.8 27B 与 Mistral Medium 3.5 128B。Apple 称 M5 Ultra 相较 M3 Ultra 首 token 时延最多快 4.6 倍、解码快 1.6 倍，并称管线并行在 65,536 tokens 上下文下让预填充最多提速约 1.8 倍。
深度见解
这说明前沿级开放权重模型已能在本地桌面集群上私有运行，但需要多机互联与新版 MLX 工具链的支持。