SGLang 原生支持 Reflection Beam
AI 总结
SGLang 团队博客称，Reflection 的 Beam 是一个 5010 亿参数、每个 token 激活 230 亿参数的混合专家（MoE）模型，面向软件工程与长时程智能体任务，计划以 Apache 2.0 许可发布。SGLang 现已原生支持 Beam 并驱动 Reflection 的生产 API，支持 BF16、NVFP4 与动态 FP8 检查点、DFlash2 推测解码、前缀缓存与 HiCache、分块预填充等能力。博文给出的数据是：在 4 块 NVIDIA GB300 GPU 上以 NVFP4 检查点回放 OpenHands 多轮智能体编码负载时，SGLang 单 GPU 达到 127.6K tokens/秒，单用户 185.87 tokens/秒（p50），并发数为 32。
深度见解
若 Beam 按计划以 Apache 2.0 开放权重发布，它将为编码智能体提供一个超大 MoE 选项，而推理栈的成熟度会直接影响实际部署成本。