Mozilla AI 开源自托管 LLM 网关 Otari
AI 总结
GitHub 趋势列表收录了 Mozilla AI 的 otari 项目：一个可自行部署、兼容 OpenAI 与 Anthropic 接口的 LLM 网关，用单一端点对接 40 多家模型提供商。按其项目文档，Otari 位于应用与模型供应商之间，负责鉴权、解析供应商凭证、在派发前执行预算检查，并在结算后记录用量。它还支持虚拟密钥、按用户/工作区/模型划分的权限范围，以及故障切换、加权等本地路由策略，并以 Apache 2.0 许可证发布。
深度见解
项目文档称，Otari 让团队把供应商密钥留在自有网关之后，同时控制虚拟密钥与预算，这正对应企业在多模型接入时的网关需求。
Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking.
An OpenAI-compatible LLM gateway you own and run.