用 LiteLLM 网关统一模型接入
AI 总结
教程演示如何在应用与 DeepSeek、OpenAI 等模型供应商之间部署 LiteLLM Proxy,并配置逻辑模型名、虚拟 Key、fallback、限流和基于 PostgreSQL 的成本追踪。作者通过真实容器验证健康检查、模型列表、Key 创建与删除及消费日志接口,并比较了 LiteLLM、Portkey 和 Helicone 的定位。
深度见解
该方案把供应商切换、密钥吊销、流量控制和成本记录集中到统一网关层,减少业务代码中的重复实现。
系列《AI 应用生产化手册》第 17 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/… 本篇是模块四(成本与网关)第 4 篇:C01 算钱、C02 省钱、C03 分流,C04 把这三件事从业务代码里挪出来
一、先看问题:优化做了,痛点还在
C01–C03 都在应用侧做文章,但你会陆续撞上三堵墙:
- 应用直连供应商 = 换供应商要改代码——从 DeepSeek 换到 OpenAI,每个调用点都得动一遍,还容易漏。
- Key 散落各处——每个服务一把供应商 Key。泄露了你不知道是谁泄的,也没法只吊销那一个。
- fallback / 限流 / 成本统计每个应用各写一套——重复造轮子,而且每套实现都不一样,对账根本对不上。
解法:AI 网关。在应用和供应商之间加一层,统一模型名、集中管 Key、统一做 fallback 和限流、把成本落到库里。
核心认知:网关是"供应商无关"的第一层实现,也是 Key 安全和成本追踪的集中点。应用只认逻辑模型名(chat-strong / chat-cheap),供应商怎么变都不动业务代码。