项目
litellm
BerriAI/litellm · Python · Apache-2.0
一次 import，就能调用 OpenAI、Anthropic、Google、Mistral 等 100+ 模型。
LiteLLM 把所有厂商统一到 OpenAI SDK 背后，加上重试、兜底、负载均衡、缓存和带花费统计的代理服务——换模型只是改配置。
80.3 / 100 · 评分
★ 62k Star 数
+387 30 天增长
5 分钟 首次运行耗时
需要付费 API Key API Key
评分
趋势 67
活跃 97
质量 95
社区 94
相关 55
上手成本一览
部署方式Pip, Docker
GPU无需 GPU
API Key需要付费 API Key
界面语言en
文档语言en
安装命令
pip install litellm 深度解读
LiteLLM 用一套 OpenAI 兼容接口收拢了 100 多个大模型：改一个模型名字就能切换供应商，聊天、向量、图像、音频以及 Agent 协议都从同一个 SDK 调用，不必为每家供应商各写一套客户端。
作为生产级网关，它补上了团队真正需要的东西——虚拟 Key、分团队消费追踪、防护栏、负载均衡与故障转移——官方基准显示 1k RPS 下 P95 延迟 8ms。
聊天之外它还打通了 Agent 生态：MCP 服务器与 A2A Agent 都可以挂载在同一个网关后面，让它成为模型与工具访问的统一控制面。
适用场景
把生产流量在多 LLM 厂商间路由
某模型宕机时自动兜底
在一处统计各团队 LLM 花费
适合 / 不太适合
适合
把 LLM 上生产的团队
不能因单一厂商故障而停摆的产品
多模型、重成本的 app
不太适合
只用一个厂商的一次性脚本
你想要完整 Agent 框架（可搭配一个）