LiteLLM 是连接应用与多家大语言模型提供商的开源 AI 网关及 Python SDK。其 LLM 代理提供统一的 OpenAI 兼容端点，SDK 则把集成放入 Python 应用。Enterprise 在同一核心代码上增加治理、安全功能与支持。
网关位于应用与所选模型提供商之间，接收请求、转发到上游，再以 OpenAI 格式返回响应。这一区别界定了产品：LiteLLM 提供接入和管理层，配置路由背后的模型负责推理。兼容 API 端点是一种集成能力，不代表附送所有可接入模型的使用额度。
SDK 在单个应用内适配提供商；共享网关则为多个客户端集中管理接入、用量归属和路由。
当前商业方案以自托管为中心。免费网关与付费 Enterprise 许可满足不同的管理及支持需求，属于基础设施方案，而非消费者聊天订阅。
SDK 通过统一接口提供补全、嵌入和图像生成，并提供 Router、OpenAI 兼容异常及可观测性回调。
stream=True 会随生成返回分块，让客户端逐步显示回答。模型路由支持跨部署、跨提供商的冷却期、回退、超时和重试。重试可采用固定或指数退避。生产环境可用 Redis 共享冷却和用量状态。这些机制应对部署不可用或限流，回退能否成功仍取决于上游可用性。
Router 提供加权选择、限流感知、最少繁忙、延迟及成本路由。加权池、按延迟选取的池和按价格选取的池行为不同，选定一种策略并不同时优化所有指标。
MCP Gateway 为 MCP 工具提供固定端点，按密钥和团队控制访问。文档列出的操作包括列出和调用工具、提示及资源，支持 Streamable HTTP、SSE 和标准输入/输出传输。多个工具服务器可共用接入端点。
AI Gateway 也处理 A2A 智能体。即使共用网关地址，模型路由、工具调用和智能体端点仍是不同的上游资源。
虚拟密钥管理需要 Postgres 数据库及充当代理管理员密钥的主密钥。文档使用 DATABASE_URL 连接数据库、LITELLM_MASTER_KEY 管理代理，随后可经 /key/generate 生成密钥。
model_list 条目、Postgres 连接，并在 general_settings 下设置主密钥。litellm --config /path/to/config.yaml 启动代理。/key/generate 发送 POST 请求，在 Bearer 授权头中放入主密钥，使用 JSON 内容类型，并通过 models 列表定义新密钥可访问的模型。base_url 设为网关 URL，api_key 设为生成的虚拟密钥。主密钥管理代理，虚拟密钥用于应用向代理认证，提供商凭据授权配置好的上游连接，三者权限范围不同。
支出追踪把跨提供商的模型成本归到密钥、用户及团队。LiteLLM 自动为已知模型计价，响应包含相应元数据时还会应用提供商特有的分层信息。即使共用上游账户，也可区分应用或部门的消耗。
计算依赖模型成本映射和当前价格数据。网关支出是计算得出的运营记录，不是上游账单。
负载均衡可把调用分配到 Azure、Bedrock 等提供商的部署，调用失败时可在另一区域重试。因此，共享模型别名可代表多个已配置部署，无须让每个应用单独选择每个端点。
这能在部署故障时维持请求路径。响应仍由所选模型和提供商决定，共享别名不意味着输出相同。
文档称 SSO 对最多五名用户免费，超过后需 Enterprise 许可。此身份功能门槛与免费网关是否可用是两回事。
截至 2026 年 10 月 23 日采集时，第三方产品发布平台显示 LiteLLM 的 24 条评价给出 5.0 分。这一小规模产品评分不能衡量具体部署的延迟、安全性或运营成本。
OpenAI 兼容客户端通过网关基础 URL 和虚拟密钥连接。各兼容客户端都可调用该 API，无须嵌入 Python SDK。
LiteLLM 也支持把内部、微调及自托管模型接到同一密钥后。内部与商业端点可共用接入方式，同时保留不同的托管、凭据和行为。
生产部署路径包括在 Amazon EKS、Google GKE 和 Azure AKS 上使用 Helm。文档提供 AWS 和 GCP 的官方 Terraform 模块；部署指南为 Azure 指定 AKS 配合 Helm，并称没有官方 Azure Terraform 模块。
文档描述两种服务布局：单体镜像同时服务模型流量、管理 API 和界面；微服务布局拆分网关、后端和界面。PostgreSQL 存储密钥、团队、用户、支出日志及配置，是代理认证与追踪功能的必需组件。Redis 共享限流、路由及缓存状态；文档称运行多个实例时必须使用。
运营方除请求转发组件外，还要运行状态存储和管理服务。
2026 年 10 月 23 日采集的价格将免费自托管核心与年度 Enterprise 许可分开。Enterprise 按网关年度请求容量、部署架构和支持需求定价，描述为从不按 token 计费。已核查的价格页未公布固定 Enterprise 订阅金额。
| 方案 | 公布的接入模式 | 包含范围 |
|---|---|---|
| Open Source | $0；永久免费；自托管 | 虚拟密钥、用户与团队、支出追踪、预算、限流、回退、请求/响应日志及 Prometheus 指标 |
| Enterprise | 按部署与请求容量提供年度销售报价 | 核心网关，另加身份、审计、密钥管理、管理、多区域及支持功能 |
Enterprise 通过同一网关镜像上的许可密钥启用，无须迁移到独立托管产品。列明的新增功能包括 SSO 和 SCIM、审计日志、组织与团队管理员、密钥管理器、IP 允许列表、按团队日志、多区域功能及支持 SLA。
可通过邮件申请 30 天 Enterprise 试用密钥。采购可直接进行、经 AWS Marketplace 或授权经销商。试用提供限时 Enterprise 访问。
标准 Enterprise 支持提供 LiteLLM 工程师参与的专用 Slack 或 Teams 频道，公布时段为工作日 PST 上午 9 点至晚上 9 点，不保证响应时间。有保证的 24/7 响应 SLA 是额外付费选项。
上游许可将 enterprise 目录及明示限制之外的代码置于 MIT 下；enterprise 内容另有许可。MIT 允许使用、修改、分发、再许可和销售，条件包括保留版权及许可声明。
$0 标价覆盖自托管软件许可。基础设施与上游推理是架构中的独立部分；兼容提供商不代表包含 token 余额或模型额度。
Portkey 将自身定位为生成式 AI 应用的统一接口，提供控制、可视性及安全工具，宣称的范围涵盖模型接入、监控和治理。
比较同时涉及运营层和 API 接入。LiteLLM 提供自托管网关及 Python SDK，可选 Enterprise 激活；能力重叠不表示许可或支持等同。
OpenRouter 通过单一 API 端点提供数百个模型，支持自动回退及为请求选择经济的选项。LiteLLM 则以运行在组织部署中的软件统一模型接入，使用组织自己的提供商和访问控制。
两者在 API 聚合上有重叠。仅看模型目录，无法说明 Python 库、自行运营的网关和服务端点的区别。
drop_params。该设置丢弃不支持的 OpenAI 参数，其他参数视为提供商专用请求字段。统一请求格式不保证各提供商实现每项模型功能。LITELLM_SALT_KEY 加密数据库中的提供商凭据。部署指南称，添加模型后更改它会使这些凭据不可读。这不同于轮换虚拟密钥或上游提供商密钥。hide_secrets、openai_moderations 等特定内置回调需要 Enterprise。关闭消息日志可阻止消息和响应发送到配置的日志提供商，但支出等请求元数据仍会被追踪。内容脱敏保留运营元数据；推理提供商和配置的日志目的地仍是数据路径中的不同部分。
自 v1.107.0 起的文档称，用量遥测默认关闭，选定目的地前不记录数据，没有默认 HTTP 端点。启用的组可在部署数据库中保留汇总计数，或发送到配置的 HTTP 端点；遥测不自动意味着向 LiteLLM 报告。
声明的遥测 schema 排除提示、补全、API 密钥、用户与团队 ID、模型名、IP 地址、头部值和请求体。token 数按行汇总，不逐请求保留。这些排除项针对遥测，不代表所有日志或推理路径。
Enterprise 连接另有边界。合规文档称，可计费请求计量向 LiteLLM 收集器发送成功请求数；许可检查可使用许可服务器或验证离线签名载荷。该文档称，在此计量情境下，提示、响应、虚拟密钥和许可密钥不离开部署。此计量与可选用量遥测分开。
本次核查的安全、遥测、日志及合规页面未说明适用于所有上游提供商的通用模型训练政策。自托管和数据流声明不能证明每个所选模型服务如何处理提交内容。
维护者描述了 2026 年 3 月 24 日影响 PyPI 包 v1.82.7 和 v1.82.8 的供应链事件。更新称这些包先被隔离，随后删除。声明针对历史发布包，不针对每个安装或当前版本。
另有独立安全研究者评估 v1.77.7，报告了配置访问及提供商凭据问题，编号为 CVE-2026-35029、CVE-2026-59823。报告称到 v1.83.9 问题已解决，影响包括低权限配置接管及重定向提供商调用以窃取凭据。这些是有版本范围的发现，不代表漏洞在所有后续版本持续存在。
LiteLLM 提供网关和 SDK，推理由配置的上游提供商提供；目录集成不代表附带模型额度。
Enterprise 用密钥在同一自托管网关镜像上启用功能，许可增加治理与支持。
不会。消息日志可不记录内容，支出元数据仍保留。用量遥测与 Enterprise 请求计量各有控制。