LiteLLM 是連接應用程式與多家大型語言模型供應商的開源 AI 閘道及 Python SDK。其 LLM 代理提供統一的 OpenAI 相容端點，SDK 則把整合放入 Python 應用程式。Enterprise 在同一核心程式碼上增加治理、安全功能與支援。
閘道位於應用程式與所選模型供應商之間，接收請求、轉送上游，再以 OpenAI 格式回傳回應。這個區別界定了產品：LiteLLM 提供存取和管理層，設定路由背後的模型負責推論。相容 API 端點是一種整合能力，不代表附贈所有可存取模型的使用額度。
SDK 在單一應用程式內適配供應商；共用閘道則為多個用戶端集中管理存取、用量歸屬和路由。
目前商業方案以自行託管為主。免費閘道與付費 Enterprise 授權滿足不同的管理及支援需求，屬於基礎設施方案，而非消費者聊天訂閱。
SDK 透過統一介面提供補全、嵌入及圖像生成，並提供 Router、OpenAI 相容例外及可觀測性回呼。
stream=True 會隨生成回傳區塊，讓用戶端逐步顯示回答。模型路由支援跨部署、跨供應商的冷卻期、備援、逾時和重試。重試可採固定或指數退避。正式環境可用 Redis 共用冷卻和用量狀態。這些機制應對部署無法使用或流量限制，備援能否成功仍取決於上游可用性。
Router 提供加權選擇、流量限制感知、最不忙碌、延遲及成本路由。加權池、依延遲選取的池和依價格選取的池行為不同，選定一種策略並不會同時最佳化所有指標。
MCP Gateway 為 MCP 工具提供固定端點，依金鑰和團隊控制存取。文件列出的操作包括列出和呼叫工具、提示及資源，支援 Streamable HTTP、SSE 和標準輸入/輸出傳輸。多個工具伺服器可共用存取端點。
AI Gateway 也處理 A2A 代理程式。即使共用閘道位址，模型路由、工具呼叫和代理程式端點仍是不同的上游資源。
虛擬金鑰管理需要 Postgres 資料庫，以及充當代理管理員金鑰的主金鑰。文件使用 DATABASE_URL 連接資料庫、LITELLM_MASTER_KEY 管理代理，隨後可經 /key/generate 產生金鑰。
model_list 項目、Postgres 連線，並在 general_settings 下設定主金鑰。litellm --config /path/to/config.yaml 啟動代理。/key/generate 傳送 POST 請求，在 Bearer 授權標頭放入主金鑰，使用 JSON 內容類型，並透過 models 清單定義新金鑰可存取的模型。base_url 設為閘道 URL，api_key 設為產生的虛擬金鑰。主金鑰管理代理，虛擬金鑰讓應用程式向代理驗證身分，供應商憑證授權設定好的上游連線，三者權限範圍不同。
支出追蹤把跨供應商的模型成本歸到金鑰、使用者及團隊。LiteLLM 自動為已知模型計價，回應包含相關中繼資料時也會套用供應商特有的分級資訊。即使共用上游帳號，也可區分應用程式或部門的消耗。
計算仰賴模型成本對照表及目前價格資料。閘道支出是計算得出的營運紀錄，不是上游帳單。
負載平衡可將呼叫分配到 Azure、Bedrock 等供應商的部署，呼叫失敗時可在另一區域重試。因此，共用模型別名可代表多個已設定部署，無須讓每個應用程式個別選擇每個端點。
這能在部署故障時維持請求路徑。回應仍由所選模型和供應商決定，共用別名不代表輸出相同。
文件稱 SSO 對最多五名使用者免費，超過後需 Enterprise 授權。此身分功能門檻與免費閘道是否可用是兩回事。
截至 2026 年 10 月 23 日擷取時，第三方產品發表平台顯示 LiteLLM 的 24 則評論給出 5.0 分。這個小規模產品評分無法衡量個別部署的延遲、安全性或營運成本。
OpenAI 相容用戶端透過閘道基礎 URL 和虛擬金鑰連接。各相容用戶端都可呼叫該 API，無須嵌入 Python SDK。
LiteLLM 也支援將內部、微調及自行託管模型接到同一金鑰後。內部與商業端點可共用存取方式，同時保留不同的託管、憑證及行為。
正式環境部署路徑包括在 Amazon EKS、Google GKE 和 Azure AKS 上使用 Helm。文件提供 AWS 和 GCP 的官方 Terraform 模組；部署指南為 Azure 指定 AKS 搭配 Helm，並稱沒有官方 Azure Terraform 模組。
文件描述兩種服務配置：單體映像同時服務模型流量、管理 API 及介面；微服務配置拆分閘道、後端和介面。PostgreSQL 儲存金鑰、團隊、使用者、支出日誌及設定，是代理驗證與追蹤功能的必要元件。Redis 共用流量限制、路由及快取狀態；文件稱執行多個執行個體時必須使用。
營運方除請求轉送元件外，還要執行狀態儲存及管理服務。
2026 年 10 月 23 日擷取的價格將免費自行託管核心與年度 Enterprise 授權分開。Enterprise 依閘道年度請求容量、部署架構及支援需求定價，描述為從不按 token 計費。已核對的價格頁未公布固定 Enterprise 訂閱金額。
| 方案 | 公布的存取模式 | 包含範圍 |
|---|---|---|
| Open Source | $0；永久免費；自行託管 | 虛擬金鑰、使用者與團隊、支出追蹤、預算、流量限制、備援、請求/回應日誌及 Prometheus 指標 |
| Enterprise | 依部署與請求容量提供年度業務報價 | 核心閘道，另加身分、稽核、機密管理、管理、多區域及支援功能 |
Enterprise 透過同一閘道映像上的授權金鑰啟用，無須遷移至獨立託管產品。列出的新增功能包括 SSO 和 SCIM、稽核日誌、組織與團隊管理員、機密管理器、IP 允許清單、依團隊日誌、多區域功能及支援 SLA。
可透過電子郵件申請 30 天 Enterprise 試用金鑰。採購可直接進行、經 AWS Marketplace 或授權經銷商。試用提供限時 Enterprise 存取權。
標準 Enterprise 支援提供 LiteLLM 工程師參與的專用 Slack 或 Teams 頻道，公布時段為工作日 PST 上午 9 點至晚上 9 點，不保證回應時間。有保證的 24/7 回應 SLA 是額外付費選項。
上游授權將 enterprise 目錄及明示限制之外的程式碼置於 MIT 下；enterprise 內容另有授權。MIT 允許使用、修改、散布、再授權和銷售，條件包括保留著作權及授權聲明。
$0 標價涵蓋自行託管軟體授權。基礎設施與上游推論是架構中的獨立部分；相容供應商不代表包含 token 餘額或模型額度。
Portkey 將自身定位為生成式 AI 應用程式的統一介面，提供控制、可視性及安全工具，宣稱的範圍涵蓋模型存取、監控及治理。
比較同時涉及營運層與 API 存取。LiteLLM 提供自行託管閘道及 Python SDK，可選 Enterprise 啟用；能力重疊不代表授權或支援等同。
OpenRouter 透過單一 API 端點提供數百個模型，支援自動備援及為請求選擇經濟的選項。LiteLLM 則以執行於組織部署中的軟體統一模型存取，使用組織自己的供應商及存取控制。
兩者在 API 聚合上有重疊。僅看模型目錄，無法說明 Python 函式庫、自行營運的閘道及服務端點的差別。
drop_params。此設定捨棄不支援的 OpenAI 參數，其他參數視為供應商專屬請求欄位。統一請求格式不保證各供應商實作每項模型功能。LITELLM_SALT_KEY 加密資料庫中的供應商憑證。部署指南稱，新增模型後變更它會使這些憑證無法讀取。這不同於輪替虛擬金鑰或上游供應商金鑰。hide_secrets、openai_moderations 等特定內建回呼需要 Enterprise。關閉訊息日誌可阻止訊息和回應傳送到設定的日誌供應商，但支出等請求中繼資料仍會被追蹤。內容遮蔽保留營運中繼資料；推論供應商與設定的日誌目的地仍是資料路徑中的不同部分。
自 v1.107.0 起的文件稱，用量遙測預設關閉，選定目的地前不記錄資料，沒有預設 HTTP 端點。啟用的群組可在部署資料庫中保留彙總計數，或傳送到設定的 HTTP 端點；遙測不自動意味向 LiteLLM 回報。
聲明的遙測 schema 排除提示、補全、API 金鑰、使用者與團隊 ID、模型名稱、IP 位址、標頭值及請求主體。token 數依資料列彙總，不逐請求保留。這些排除項針對遙測，不代表所有日誌或推論路徑。
Enterprise 連線另有邊界。合規文件稱，計費請求計量向 LiteLLM 收集器傳送成功請求數；授權檢查可使用授權伺服器或驗證離線簽署酬載。文件稱，在此計量情境下，提示、回應、虛擬金鑰及授權金鑰不離開部署。此計量與選用的用量遙測分開。
本次核對的安全、遙測、日誌及合規頁面未說明適用所有上游供應商的通用模型訓練政策。自行託管及資料流聲明不能證明每個所選模型服務如何處理提交內容。
維護者描述了 2026 年 3 月 24 日影響 PyPI 套件 v1.82.7 和 v1.82.8 的供應鏈事件。更新稱這些套件先被隔離，隨後刪除。聲明針對歷史發行套件，不針對每個安裝或目前版本。
另有獨立安全研究者評估 v1.77.7，報告設定存取及供應商憑證問題，編號為 CVE-2026-35029、CVE-2026-59823。報告稱到 v1.83.9 問題已解決，影響包括低權限設定接管及重新導向供應商呼叫以竊取憑證。這些是有版本範圍的發現，不代表漏洞在所有後續版本持續存在。
LiteLLM 提供閘道和 SDK，推論由設定的上游供應商提供；目錄整合不代表附帶模型額度。
Enterprise 用金鑰在同一自行託管閘道映像上啟用功能，授權增加治理及支援。
不會。訊息日誌可不記錄內容，支出中繼資料仍保留。用量遙測及 Enterprise 請求計量各有控制。