セルフホストのAIゲートウェイやPython SDKで複数のモデル提供元を接続。仮想キー、ルーティング、使用量、チーム予算を管理し、Enterpriseのガバナンスも選べます。
このツールを使いましたか？評価してください
このツールを使いましたか？評価してください
LiteLLMは、アプリケーションを複数の大規模言語モデル提供元につなぐオープンソースのAIゲートウェイ兼Python SDKです。LLMプロキシは共通のOpenAI互換エンドポイントを提供し、SDKはPythonアプリ内に統合を組み込みます。Enterpriseは同じコアコードにガバナンス、セキュリティ機能、サポートを追加します。
ゲートウェイはアプリと選択したモデル提供元の間で要求を受け取り、上流へ転送し、OpenAI形式で応答を返します。この区別が製品の役割を示します。LiteLLMが提供するのはアクセスと管理の層であり、推論は設定済みルートの先にあるモデルが行います。APIエンドポイントの互換性は統合能力を表し、接続可能な全モデルの利用枠が付属する意味ではありません。
SDKは単一アプリ内で提供元への対応を行い、共有ゲートウェイは複数クライアントのアクセス、使用量の帰属、ルーティングを集約します。
現在の商用提供はセルフホストが中心です。無料ゲートウェイと有料Enterpriseライセンスは異なる管理・サポート要件に対応するインフラ製品であり、消費者向けチャットのサブスクリプションではありません。
SDKは共通インターフェースで補完、埋め込み、画像生成を提供し、Router、OpenAI互換の例外、可観測性コールバックも備えます。
stream=Trueにすると生成に合わせてチャンクを返し、クライアントが回答を順次表示できます。モデルルーティングには、複数のデプロイや提供元にまたがるクールダウン、フォールバック、タイムアウト、再試行があります。再試行には固定または指数バックオフを使えます。本番環境ではRedisにクールダウンと使用量の共有状態を置けます。これらは利用不能やレート制限中のデプロイに対応しますが、フォールバックの成功は上流の可用性にも依存します。
Routerは重み付き選択、レート制限を考慮したルーティング、最も空いている経路、遅延ベース、コストベースのルーティングを提供します。重みで選ぶプール、遅延で選ぶプール、価格で選ぶプールは動作が異なり、一つの戦略ですべての基準を同時に最適化するわけではありません。
MCP GatewayはMCPツール用の固定エンドポイントを一つ提供し、キーとチームでアクセスを制御します。文書化された操作には、ツール、プロンプト、リソースの一覧取得と呼び出しがあります。Streamable HTTP、SSE、標準入出力の転送方式に対応し、複数ツールサーバーでアクセス先を共有できます。
AI GatewayはA2Aエージェントも扱います。モデルルート、ツール呼び出し、エージェントのエンドポイントは、同じゲートウェイアドレスを使っても異なる上流リソースです。
仮想キーの管理にはPostgresデータベースと、プロキシ管理者キーとなるマスターキーが必要です。文書の設定では接続にDATABASE_URL、管理にLITELLM_MASTER_KEYを使い、設定後は/key/generateでキーを生成できます。
model_listの項目、Postgres接続、general_settings配下のマスターキーを含む設定を作ります。litellm --config /path/to/config.yamlでプロキシを起動します。/key/generateへPOST要求を送ります。Bearer認証ヘッダーにマスターキーを入れ、JSONのコンテンツタイプと、新しいキーのモデルアクセスを定義するmodelsリストを指定します。base_urlをゲートウェイURLに、api_keyを生成した仮想キーに設定します。マスターキーはプロキシを管理し、仮想キーはアプリをプロキシに認証させます。提供元の認証情報は設定された上流接続を認可します。それぞれ権限の範囲が異なります。
支出追跡は複数提供元のモデル費用をキー、ユーザー、チームに帰属させます。LiteLLMは既知モデルを自動計算し、応答に該当メタデータがあれば提供元固有の料金階層情報を適用します。上流アカウントを共用してもアプリや部署の消費を区別できます。
計算はモデル費用マップと現在の価格データに依存します。ゲートウェイの支出は計算された運用記録であり、上流の請求書ではありません。
負荷分散はAzure、Bedrockなどのデプロイ間に呼び出しを分配し、失敗時には別リージョンで再試行できます。共有モデル別名で複数の設定済みデプロイを表せるため、各アプリにすべてのエンドポイントを個別の選択肢として公開せずに済みます。
これによりデプロイ障害時も要求経路を維持できます。応答を決めるのは選択したモデルと提供元であり、共通の別名が出力を同一にするわけではありません。
文書ではSSOは最大5人まで無料で、それを超えるとEnterpriseライセンスが必要です。このID機能の基準と無料ゲートウェイの利用可否は別です。
2026年10月23日の取得時点で、第三者の製品発表プラットフォームにはLiteLLMの24件のレビューに基づく5.0の評価が表示されていました。この小規模な製品単位の標本は、デプロイの遅延、安全性、運用費を測定するものではありません。
OpenAI互換クライアントはゲートウェイのベースURLと仮想キーで接続します。各互換クライアントはPython SDKを組み込まずAPIを呼び出せます。
LiteLLMは内部モデル、微調整モデル、セルフホストモデルを同じキーの背後に接続する構成にも対応します。内部・商用エンドポイントはアクセス方式を共用しつつ、ホスティング、認証情報、動作を個別に保てます。
本番の経路にはAmazon EKS、Google GKE、Azure AKS上のHelmがあります。AWSとGCP向け公式Terraformモジュールが文書化されています。デプロイガイドはAzureにはAKSとHelmを指定し、公式Azure Terraformモジュールはないとしています。
サービス構成は二つあります。単一のモノリシックイメージがモデル通信、管理API、UIを処理する構成と、ゲートウェイ、バックエンド、UIを分離するマイクロサービス構成です。PostgreSQLはキー、チーム、ユーザー、支出ログ、設定を保存し、プロキシ認証と追跡機能に必要です。Redisはレート制限、ルーティング、キャッシュ状態を共有し、複数インスタンス稼働時は必須と記載されています。
運用者は要求転送部分に加え、状態ストアと管理サービスも運用します。
2026年10月23日に取得した価格情報は、無料のセルフホストコアと年間Enterpriseライセンスを分けています。Enterpriseはゲートウェイの年間要求容量、デプロイ構成、サポート要件に応じて価格が決まり、トークン単位の課金は一切しないと説明されています。確認した価格ページに固定のEnterprise購読金額はありません。
| 提供形態 | 公開された利用方式 | 対象範囲 |
|---|---|---|
| Open Source | $0、永久無料、セルフホスト | 仮想キー、ユーザーとチーム、支出追跡、予算、レート制限、フォールバック、要求/応答ログ、Prometheus指標 |
| Enterprise | デプロイと要求容量に基づく年間見積もり | コアゲートウェイにID、監査、シークレット管理、管理、多リージョン、サポート機能を追加 |
Enterpriseは別のホスト型製品への移行を求めず、同じゲートウェイイメージでライセンスキーを使います。追加機能としてSSOとSCIM、監査ログ、組織・チーム管理者、シークレットマネージャー、IP許可リスト、チーム別ログ、多リージョン機能、サポートSLAが挙げられています。
メールで30日間のEnterprise試用キーを取得できます。調達は直接、AWS Marketplace、認定リセラー経由で行えます。試用は期間限定のEnterpriseアクセスを付与します。
標準EnterpriseサポートはLiteLLMエンジニアとの専用SlackまたはTeamsチャネルを含みます。公開時間は平日のPST午前9時〜午後9時で、応答時間の保証はありません。応答保証付き24/7 SLAは追加の有料オプションです。
上流ライセンスはenterpriseディレクトリと明示された制限の対象外のコードにMITを適用し、enterpriseコンテンツには別のライセンスを適用します。MITは著作権と許諾表示の保持などの条件の下、使用、変更、配布、再許諾、販売を認めます。
$0の表示はセルフホストソフトウェアのライセンスを対象とします。インフラと上流推論はアーキテクチャ上の別要素であり、提供元への対応はトークン残高やモデル利用枠の付属を示しません。
Portkeyは生成AIアプリ向けの統一インターフェースと位置付けられ、制御、可視性、セキュリティのツールを提供します。説明上の範囲はモデルアクセスと監視、ガバナンスを組み合わせています。
比較にはAPIアクセスだけでなく運用層も含まれます。LiteLLMはセルフホストゲートウェイとPython SDKを提供し、Enterpriseを任意で有効化できます。機能の重複は同等のライセンスやサポートを意味しません。
OpenRouterは一つのAPIエンドポイントで数百のモデルへのアクセス、自動フォールバック、要求に対する費用効率のよい選択肢の選定を提供します。LiteLLMは組織のデプロイで動くソフトウェアにより共通のモデルアクセスを実現し、組織自身の提供元とアクセス制御を使います。
両者はAPI集約で重なります。モデル一覧だけでは、Pythonライブラリ、運用するゲートウェイ、サービスエンドポイントの違いを説明できません。
drop_paramsを有効にしない限り、非対応のOpenAIパラメーターに例外を出します。この設定は非対応のOpenAIパラメーターを破棄し、他のパラメーターは提供元固有の要求フィールドとして扱います。共通形式は全提供元による全モデル機能の実装を保証しません。LITELLM_SALT_KEYはデータベース内の提供元認証情報を暗号化します。ガイドはモデル追加後に変更すると認証情報が読めなくなるとしています。仮想キーや上流提供元キーのローテーションとは異なります。hide_secrets、openai_moderationsなどの特定の組み込みコールバックにはEnterpriseが必要です。メッセージログを無効にすると、設定済みログ提供元へのメッセージと応答の送信は止まりますが、支出などの要求メタデータは引き続き追跡されます。内容を秘匿しても運用メタデータは残ります。推論提供元と設定済みログ送信先はデータ経路の別部分です。
v1.107.0からの文書では、使用量テレメトリは有効にしない限りオフで、送信先を選ぶまで記録しません。既定のHTTPエンドポイントもありません。有効なグループは集計数をデプロイ内データベースに保存するか、設定したHTTPエンドポイントに送れます。テレメトリが自動的にLiteLLMへの報告を意味するわけではありません。
公表スキーマはプロンプト、補完、APIキー、ユーザーとチームのID、モデル名、IPアドレス、ヘッダー値、要求本文を除外します。トークン数は要求別に保持せず行ごとに合計します。これらはテレメトリの除外項目で、すべてのログや推論経路を指すものではありません。
Enterprise接続には別の境界があります。コンプライアンス文書によると、課金対象の要求計量は成功要求数をLiteLLMコレクターに送り、ライセンス確認はライセンスサーバーの利用またはオフライン署名ペイロードの検証で行えます。この計量ではプロンプト、応答、仮想キー、ライセンスキーはデプロイ外へ出ないとしています。この計量は任意の使用量テレメトリとは別です。
今回確認したセキュリティ、テレメトリ、ログ、コンプライアンスの各ページは、すべての上流提供元に共通するモデル学習方針を明記していません。セルフホストやデータフローの説明だけでは、選んだ各モデルサービスが送信内容をどう扱うかは分かりません。
保守者は2026年3月24日にPyPIパッケージv1.82.7とv1.82.8が影響を受けたサプライチェーン事件を説明しています。更新では対象パッケージを隔離後に削除したとしています。これは過去のリリースパッケージについての声明であり、すべてのインストールや現行版を指しません。
別途、独立したセキュリティ研究者はv1.77.7を調査し、CVE-2026-35029とCVE-2026-59823の設定アクセス・提供元認証情報の問題を報告しました。報告はv1.83.9時点で解決したとしています。影響には低権限での設定乗っ取りと、認証情報窃取を目的とする提供元呼び出しのリダイレクトが含まれます。対象バージョンが限定された発見であり、同じ欠陥がすべての後続版に残るという主張ではありません。
LiteLLMはゲートウェイとSDKを提供します。推論は設定した上流提供元が行い、カタログ統合はモデル利用枠の付属を示しません。
Enterpriseは同じセルフホストゲートウェイイメージでキーにより機能を有効化します。ライセンスはガバナンスとサポートを追加します。
いいえ。メッセージログで内容を抑えても支出メタデータは残ります。使用量テレメトリとEnterprise要求計量には別々の制御があります。