Подключайте приложения к разным моделям через собственный ИИ-шлюз или Python SDK. Управляйте виртуальными ключами, маршрутами, использованием и бюджетами с опциональными функциями Enterprise.
Пользовались этим инструментом? Оцените его
Пользовались этим инструментом? Оцените его
LiteLLM — открытый ИИ-шлюз и Python SDK для подключения приложений к разным поставщикам больших языковых моделей. Его LLM-прокси даёт общий OpenAI-совместимый эндпоинт, а SDK встраивает интеграцию прямо в приложение Python. Enterprise добавляет управление, функции безопасности и поддержку к тому же основному коду.
Шлюз находится между приложением и выбранным поставщиком: принимает запрос, отправляет его выше по цепочке и возвращает ответ в формате OpenAI. Это разделение определяет продукт. LiteLLM предоставляет слой доступа и управления, а модель за настроенным маршрутом выполняет инференс. Совместимый API-эндпоинт — возможность интеграции, а не включённая квота на все доступные через него модели.
SDK адаптирует поставщиков внутри одного приложения. Общий шлюз централизует доступ, учёт принадлежности использования и маршрутизацию для нескольких клиентов.
Текущее коммерческое предложение сосредоточено на самостоятельном размещении. Бесплатный шлюз и платная лицензия Enterprise отвечают разным требованиям к администрированию и поддержке. Это инфраструктура, а не потребительская подписка на чат.
SDK предоставляет дополнение текста, эмбеддинги и генерацию изображений через общий интерфейс, а также Router, OpenAI-совместимые исключения и обратные вызовы для наблюдаемости.
stream=True возвращает фрагменты по мере генерации, позволяя клиенту постепенно показывать ответ.Маршрутизация моделей включает периоды охлаждения, резервные маршруты, тайм-ауты и повторы между развёртываниями и поставщиками. Повторы могут использовать фиксированную или экспоненциальную задержку. Redis может хранить общее состояние охлаждения и использования в рабочей среде. Механизмы реагируют на недоступность развёртываний или лимиты частоты; успех резервного пути всё равно зависит от доступности поставщика.
Router предлагает взвешенный выбор, маршрутизацию с учётом лимитов частоты, по наименьшей занятости, задержке и стоимости. Взвешенный пул, пул по задержке и пул по цене ведут себя по-разному. Одна стратегия не оптимизирует сразу все критерии.
MCP Gateway даёт инструментам MCP один фиксированный эндпоинт и управляет доступом по ключу и команде. Документированные операции включают перечисление и вызов инструментов, промптов и ресурсов. Поддерживаются Streamable HTTP, SSE и стандартный ввод/вывод. Несколько серверов инструментов могут использовать общий эндпоинт доступа.
AI Gateway также обслуживает агентов A2A. Маршруты моделей, вызовы инструментов и эндпоинты агентов остаются разными ресурсами выше по цепочке, даже при общем адресе шлюза.
Для управления виртуальными ключами нужны база Postgres и мастер-ключ, выполняющий роль ключа администратора прокси. Документированная настройка использует DATABASE_URL для подключения к базе и LITELLM_MASTER_KEY для администрирования. Затем ключи можно создавать через /key/generate.
model_list, подключением Postgres и мастер-ключом в general_settings.litellm --config /path/to/config.yaml, указав сохранённый файл конфигурации./key/generate с мастер-ключом в заголовке авторизации Bearer, типом содержимого JSON и списком models, задающим доступ создаваемого ключа к моделям.base_url клиента OpenAI URL шлюза, а в api_key — созданный виртуальный ключ.Мастер-ключ администрирует прокси, виртуальный ключ аутентифицирует в нём приложение. Учётные данные поставщика разрешают настроенное соединение с ним. У этих данных разные области полномочий.
Учёт расходов относит стоимость моделей разных поставщиков к ключам, пользователям и командам. LiteLLM автоматически рассчитывает цену известных моделей и применяет сведения о тарифных уровнях поставщика, если ответ содержит соответствующие метаданные. Это разделяет потребление приложений или отделов даже при общих аккаунтах поставщиков.
Расчёт зависит от карты стоимости моделей и актуальных тарифных данных. Расходы шлюза — расчётная операционная запись, а не счёт от поставщика.
Балансировка может распределять вызовы между развёртываниями Azure, Bedrock и других поставщиков, включая повтор в другом регионе при сбое. Общий псевдоним модели может представлять несколько настроенных развёртываний, не выставляя каждый эндпоинт отдельным выбором для каждого приложения.
Так сохраняется путь запроса при сбоях развёртываний. Ответ по-прежнему определяют выбранные модель и поставщик; общий псевдоним не делает результаты одинаковыми.
Документация указывает, что SSO бесплатен для числа пользователей до пяти включительно, а сверх этого нужна лицензия Enterprise. Этот порог функции идентификации не определяет доступность бесплатного шлюза.
На момент фиксации 23 октября 2026 года сторонняя платформа запуска продуктов показывала оценку 5.0 по 24 отзывам о LiteLLM. Эта небольшая выборка о продукте не измеряет задержку, безопасность или эксплуатационные расходы конкретного развёртывания.
OpenAI-совместимые клиенты подключаются через базовый URL шлюза и виртуальный ключ. Каждый такой клиент может вызывать API без встраивания Python SDK.
LiteLLM также позволяет подключать внутренние, дообученные и самостоятельно размещённые модели за одним ключом. Внутренние и коммерческие эндпоинты могут иметь общий способ доступа, сохраняя различия в размещении, учётных данных и поведении.
Варианты развёртывания включают Helm на Amazon EKS, Google GKE и Azure AKS. Официальные модули Terraform описаны для AWS и GCP. Для Azure руководство указывает AKS с Helm и отмечает отсутствие официального модуля Azure Terraform.
Описаны две схемы сервисов. Монолитный образ вместе обслуживает трафик моделей, API управления и интерфейс. Микросервисная схема разделяет шлюз, бэкенд и интерфейс. PostgreSQL хранит ключи, команды, пользователей, журналы расходов и конфигурацию; он необходим для аутентификации и отслеживания в прокси. Redis разделяет состояние лимитов частоты, маршрутизации и кеша и, согласно документации, обязателен при работе более одного экземпляра.
Оператор обслуживает хранилища состояния и сервис управления наряду с компонентом пересылки запросов.
Цены, зафиксированные 23 октября 2026 года, разделяют бесплатное самостоятельно размещённое ядро и годовую лицензию Enterprise. Цена Enterprise зависит от годовой ёмкости запросов шлюза, архитектуры и потребностей в поддержке и описана как никогда не рассчитываемая за токен. Проверенная страница не публикует фиксированную сумму подписки Enterprise.
| Предложение | Опубликованная модель доступа | Что входит |
|---|---|---|
| Open Source | $0; бесплатно навсегда; самостоятельное размещение | Виртуальные ключи, пользователи и команды, учёт расходов, бюджеты, лимиты частоты, резервные маршруты, журналы запросов/ответов и метрики Prometheus |
| Enterprise | Годовое предложение отдела продаж по развёртыванию и ёмкости запросов | Ядро шлюза и дополнительные функции идентификации, аудита, управления секретами, администрирования, работы в нескольких регионах и поддержки |
Enterprise использует лицензионный ключ в том же образе шлюза, не требуя перехода на отдельный размещённый продукт. Среди дополнений названы SSO и SCIM, журналы аудита, администраторы организации и команд, менеджеры секретов, списки разрешённых IP, журналы по командам, многорегиональные функции и SLA поддержки.
Пробный ключ Enterprise на 30 дней доступен по электронной почте. Покупка возможна напрямую, через AWS Marketplace или авторизованных реселлеров. Пробный период даёт ограниченный по времени доступ Enterprise.
Стандартная поддержка Enterprise включает выделенный канал Slack или Teams с инженерами LiteLLM. Опубликованные часы — с 9 утра до 9 вечера PST по будням, без гарантированного времени ответа. SLA с гарантированным ответом 24/7 — дополнительная платная опция.
Исходная лицензия относит код вне каталога enterprise и указанных ограничений к MIT; содержимое enterprise лицензируется отдельно. MIT разрешает использование, изменение, распространение, сублицензирование и продажу при соблюдении условий, включая сохранение уведомлений об авторских правах и разрешении.
Цена $0 относится к лицензии самостоятельно размещённого ПО. Инфраструктура и инференс поставщика — отдельные части архитектуры; совместимость с поставщиком не означает включённый баланс токенов или квоту модели.
Portkey позиционируется как единый интерфейс для приложений генеративного ИИ с инструментами контроля, видимости и безопасности. Заявленный охват объединяет доступ к моделям, мониторинг и управление.
Сравнение касается операционного слоя, а не только API-доступа. LiteLLM даёт самостоятельно размещённый шлюз и Python SDK с необязательной активацией Enterprise; пересечение функций не означает равных лицензий или поддержки.
OpenRouter даёт доступ к сотням моделей через один API-эндпоинт, с автоматическими резервными маршрутами и выбором экономичного варианта для запроса. LiteLLM организует общий доступ программой в развёртывании организации, с её поставщиками и средствами контроля доступа.
Варианты пересекаются в агрегации API. Одни каталоги моделей не описывают различие между библиотекой Python, эксплуатируемым шлюзом и сервисным эндпоинтом.
drop_params. Этот параметр настройки удаляет неподдерживаемые параметры OpenAI; остальные считаются полями запроса конкретного поставщика. Общий формат не гарантирует реализацию всех функций модели у каждого поставщика.LITELLM_SALT_KEY шифрует учётные данные поставщиков в базе. По руководству, его изменение после добавления моделей делает эти данные нечитаемыми. Это отличается от ротации виртуального ключа или ключа поставщика.hide_secrets и openai_moderations, требуют Enterprise.Отключение журналов сообщений предотвращает отправку сообщений и ответов настроенному поставщику журналирования, но метаданные запросов, например расходы, продолжают отслеживаться. Удаление содержимого сохраняет операционные метаданные. Поставщики инференса и настроенные получатели журналов остаются отдельными частями пути данных.
Начиная с v1.107.0, документация описывает телеметрию использования как выключенную до явного включения, без записи до выбора назначения. HTTP-эндпоинта по умолчанию нет. Включённые группы могут хранить суммарные счётчики в базе развёртывания или отправлять их настроенному HTTP-эндпоинту. Телеметрия не означает автоматической отправки отчёта LiteLLM.
Заявленная схема исключает промпты, дополнения, API-ключи, ID пользователей и команд, имена моделей, IP-адреса, значения заголовков и тела запросов. Числа токенов суммируются по строке, а не хранятся по запросу. Исключения касаются телеметрии, а не всех путей журналирования или инференса.
У подключений Enterprise другая граница. По документации соответствия, учёт оплачиваемых запросов отправляет число успешных запросов сборщику LiteLLM, а проверка лицензии может использовать сервер лицензий или проверять подписанный пакет данных офлайн. Документ указывает, что промпты, ответы, виртуальные и лицензионный ключи не покидают развёртывание в этом контексте учёта. Он отделён от необязательной телеметрии использования.
Проверенные при этой фиксации страницы безопасности, телеметрии, журналирования и соответствия не задают общей политики обучения моделей для всех поставщиков. Утверждения о самостоятельном размещении и потоках данных не устанавливают, как каждый выбранный модельный сервис обрабатывает отправленные материалы.
Сопровождающий описывает инцидент цепочки поставок от 24 марта 2026 года, затронувший пакеты PyPI v1.82.7 и v1.82.8. Обновление сообщает об их карантине и последующем удалении. Заявление относится к этим историческим пакетам, а не ко всем установкам или текущему выпуску.
Отдельно независимые исследователи безопасности оценили v1.77.7 и сообщили о проблемах доступа к конфигурации и учётных данных поставщиков под номерами CVE-2026-35029 и CVE-2026-59823. Их отчёт указывает, что проблемы устранены к v1.83.9. Среди последствий названы захват конфигурации с низкими привилегиями и перенаправление вызовов поставщика для кражи учётных данных. Выводы ограничены версиями и не утверждают, что те же уязвимости сохраняются во всех последующих выпусках.
LiteLLM предоставляет шлюз и SDK. Инференс выполняют настроенные поставщики; интеграция в каталоге не означает включённую квоту модели.
Enterprise активирует функции ключом в том же образе самостоятельно размещённого шлюза. Лицензия добавляет управление и поддержку.
Нет. Журналы могут исключать содержимое, сохраняя метаданные расходов. Телеметрия использования и учёт запросов Enterprise имеют отдельные средства управления.