LiteLLM 开源 AI 网关登 GitHub 热榜
AI 总结
GitHub Trending 每日榜收录了 BerriAI 的 LiteLLM——一个开源 AI 网关，提供统一接口以 OpenAI 格式调用 100 多个 LLM 提供方（包括 OpenAI、Anthropic、Gemini、Bedrock、Azure、Vertex AI、vLLM、Nvidia NIM）。项目既可作 Python SDK 直接集成，也可部署为代理服务器，提供虚拟密钥、支出追踪、护栏、负载均衡和日志等能力；仓库自述其基准为 1k RPS 下 8ms P95 延迟，并把 Netflix 列为开源采用方。README 还列出了 MCP 网关、A2A 智能体调用，以及在任意模型上运行 Claude Code、Codex、OpenCode 等 agent 框架的功能。
深度见解
对需要在多家模型供应商之间切换、又要统一计费与管控的团队来说，这类网关正成为常见的中间层选择。
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
🚅 LiteLLM
LiteLLM AI Gateway
部分来源内容未展示，可前往原文继续阅读。