Conecte aplicações a vários fornecedores com um gateway de IA próprio ou o SDK Python. Gerencie chaves virtuais, roteamento, uso e orçamentos, com governança Enterprise opcional.
Já usou esta ferramenta? Avalie-a
Já usou esta ferramenta? Avalie-a
LiteLLM é um gateway de IA de código aberto e um SDK Python para conectar aplicações a vários fornecedores de grandes modelos de linguagem. Seu proxy LLM oferece um endpoint comum compatível com OpenAI, enquanto o SDK incorpora a integração diretamente em uma aplicação Python. Enterprise adiciona governança, recursos de segurança e suporte ao mesmo código central.
O gateway fica entre a aplicação e o fornecedor escolhido: recebe a solicitação, encaminha ao serviço de origem e devolve a resposta no formato OpenAI. Essa distinção define o produto. LiteLLM fornece a camada de acesso e gestão; o modelo por trás da rota configurada realiza a inferência. Um endpoint de API compatível é uma capacidade de integração, não uma franquia incluída de todos os modelos que pode acessar.
O SDK adapta fornecedores dentro de uma aplicação. Um gateway compartilhado centraliza acesso, atribuição de uso e roteamento para vários clientes.
A oferta comercial atual se concentra na hospedagem própria. O gateway gratuito e a licença Enterprise paga atendem a necessidades diferentes de administração e suporte. São ofertas de infraestrutura, em vez de assinaturas de chat para consumidores.
O SDK expõe completamento, embeddings e geração de imagens por uma interface comum, além de Router, exceções compatíveis com OpenAI e callbacks de observabilidade.
stream=True retorna trechos conforme são gerados, permitindo ao cliente exibir a resposta progressivamente.O roteamento de modelos inclui períodos de resfriamento, alternativas de contingência, tempos limite e novas tentativas entre implantações e fornecedores. As tentativas podem usar espera fixa ou exponencial. Redis pode manter o estado compartilhado de resfriamento e uso em produção. Esses mecanismos reagem a implantações indisponíveis ou limitadas; o sucesso da contingência ainda depende da disponibilidade do serviço de origem.
O Router oferece seleção ponderada, roteamento atento a limites de requisições, pela menor ocupação, por latência e por custo. Um grupo ponderado, um escolhido por latência e outro por preço têm comportamentos distintos. Selecionar uma estratégia não otimiza todos os critérios ao mesmo tempo.
MCP Gateway fornece um endpoint fixo para ferramentas MCP e controla o acesso por chave e equipe. As operações documentadas incluem listar e chamar ferramentas, prompts e recursos. Os transportes suportados incluem Streamable HTTP, SSE e entrada/saída padrão. Vários servidores de ferramentas podem compartilhar o endpoint de acesso.
AI Gateway também trata agentes A2A. Rotas de modelos, chamadas de ferramentas e endpoints de agentes continuam sendo recursos distintos de origem, mesmo quando compartilham um endereço de gateway.
O gerenciamento de chaves virtuais exige uma base Postgres e uma chave mestra que funciona como chave de administrador do proxy. A configuração documentada usa DATABASE_URL para a conexão e LITELLM_MASTER_KEY para administração; depois, chaves podem ser geradas por /key/generate.
model_list, a conexão Postgres e a chave mestra sob general_settings.litellm --config /path/to/config.yaml, usando o arquivo de configuração salvo./key/generate com a chave mestra no cabeçalho de autorização Bearer, tipo de conteúdo JSON e uma lista models que defina o acesso a modelos da chave gerada.base_url do cliente OpenAI como a URL do gateway e api_key como a chave virtual gerada.A chave mestra administra o proxy; uma chave virtual autentica uma aplicação nele. As credenciais do fornecedor autorizam a conexão de origem configurada. Essas credenciais têm escopos diferentes.
O acompanhamento de gastos atribui custos de modelos a chaves, usuários e equipes entre fornecedores. LiteLLM calcula automaticamente os preços dos modelos conhecidos e aplica informações de faixas específicas do fornecedor quando a resposta contém esses metadados. Isso separa o consumo por aplicação ou departamento mesmo com contas de fornecedores compartilhadas.
O cálculo depende do mapa de custos dos modelos e dos preços atuais. O gasto do gateway é um registro operacional calculado, não a fatura do fornecedor de origem.
O balanceamento de carga pode distribuir chamadas entre implantações Azure, Bedrock e de outros fornecedores, inclusive tentando outra região quando uma chamada falha. Assim, um alias de modelo compartilhado pode representar várias implantações configuradas, sem expor cada endpoint como uma escolha separada para cada aplicação.
Isso mantém um caminho de solicitação durante falhas de implantação. O modelo e o fornecedor selecionados ainda determinam a resposta; um alias comum não torna suas saídas idênticas.
A documentação descreve SSO gratuito para até cinco usuários, exigindo licença Enterprise acima disso. Esse limite da função de identidade é separado da disponibilidade do gateway gratuito.
Na captura de 23 de outubro de 2026, uma plataforma externa de lançamento de produtos exibia nota 5.0 com base em 24 avaliações do LiteLLM. Essa pequena amostra sobre o produto não mede latência, segurança ou custo operacional de uma implantação.
Clientes compatíveis com OpenAI se conectam com a URL base do gateway e uma chave virtual. Cada cliente compatível pode chamar essa API sem incorporar o SDK Python.
LiteLLM também permite trazer modelos internos, ajustados e com hospedagem própria para trás da mesma chave. Endpoints internos e comerciais podem compartilhar um padrão de acesso mantendo hospedagem, credenciais e comportamentos diferentes.
Os caminhos de produção incluem Helm em Amazon EKS, Google GKE e Azure AKS. Há módulos Terraform oficiais documentados para AWS e GCP. O guia especifica AKS com Helm para Azure e informa não haver módulo oficial de Azure Terraform.
São documentadas duas arquiteturas de serviço. Uma imagem monolítica atende tráfego de modelos, APIs de gestão e interface juntos. Uma arquitetura de microsserviços separa gateway, backend e interface. PostgreSQL armazena chaves, equipes, usuários, logs de gastos e configuração, sendo necessário para autenticação e acompanhamento do proxy. Redis compartilha estado de limites de requisições, roteamento e cache e é descrito como obrigatório quando mais de uma instância está em execução.
O operador mantém os armazenamentos de estado e o serviço de gestão, além do componente que encaminha solicitações.
Os preços capturados em 23 de outubro de 2026 separam o núcleo gratuito com hospedagem própria de uma licença Enterprise anual. O preço Enterprise é dimensionado pela capacidade anual de solicitações do gateway, arquitetura e necessidades de suporte, sendo descrito como nunca cobrado por token. A página verificada não publica um valor fixo de assinatura Enterprise.
| Oferta | Modelo de acesso publicado | Escopo incluído |
|---|---|---|
| Open Source | $0; gratuito para sempre; hospedagem própria | Chaves virtuais, usuários e equipes, acompanhamento de gastos, orçamentos, limites de requisições, contingências, registros de solicitações/respostas e métricas Prometheus |
| Enterprise | Cotação comercial anual conforme implantação e capacidade de solicitações | Gateway central mais funções adicionais de identidade, auditoria, gestão de segredos, administração, várias regiões e suporte |
Enterprise usa uma chave de licença na mesma imagem do gateway, sem exigir migração para um produto hospedado separado. Os adicionais listados incluem SSO e SCIM, logs de auditoria, administradores de organização e equipe, gerenciadores de segredos, listas de IPs permitidos, registros por equipe, recursos multirregionais e SLAs de suporte.
Uma chave de teste Enterprise de 30 dias está disponível por e-mail. A aquisição pode ser direta, via AWS Marketplace ou revendedores autorizados. O teste concede acesso Enterprise por tempo limitado.
O suporte Enterprise padrão inclui um canal dedicado Slack ou Teams com engenheiros LiteLLM, com horário publicado das 9h às 21h PST nos dias úteis e sem tempo de resposta garantido. SLAs com resposta garantida 24/7 são uma opção paga adicional.
A licença de origem coloca sob MIT o código fora do diretório enterprise e das restrições declaradas; o conteúdo enterprise tem licença separada. MIT permite uso, modificação, distribuição, sublicenciamento e venda, sob condições que incluem preservar os avisos de direitos autorais e permissão.
A indicação $0 cobre a licença do software com hospedagem própria. Infraestrutura e inferência de origem são partes separadas da arquitetura; compatibilidade com fornecedores não estabelece saldo de tokens ou cota de modelos incluídos.
Portkey se posiciona como uma interface unificada para aplicações de IA generativa, com ferramentas de controle, visibilidade e segurança. Seu escopo declarado combina acesso a modelos, monitoramento e governança.
A comparação envolve a camada operacional e o acesso à API. LiteLLM fornece gateway com hospedagem própria e SDK Python, com ativação Enterprise opcional; a sobreposição de capacidades não estabelece equivalência de licenciamento ou suporte.
OpenRouter oferece acesso a centenas de modelos por um endpoint de API, com contingências automáticas e seleção de uma opção econômica para cada solicitação. LiteLLM trata o acesso comum com software na implantação da organização, usando seus próprios fornecedores e controles de acesso.
As opções se sobrepõem na agregação de APIs. Seus catálogos de modelos, sozinhos, não descrevem a diferença entre biblioteca Python, gateway operado e endpoint de serviço.
drop_params esteja ativado. Esse ajuste descarta parâmetros OpenAI não suportados; outros são tratados como campos de solicitação próprios do fornecedor. Um formato comum não garante que cada fornecedor implemente todas as funções de cada modelo.LITELLM_SALT_KEY criptografa credenciais dos fornecedores no banco. O guia diz que alterá-la após adicionar modelos torna essas credenciais ilegíveis. Isso difere da rotação de chave virtual ou de chave do fornecedor de origem.hide_secrets e openai_moderations, exigem Enterprise.Desativar o registro de mensagens impede o envio de mensagens e respostas ao fornecedor de logs configurado, enquanto metadados de solicitação, como gastos, continuam sendo acompanhados. A supressão de conteúdo preserva metadados operacionais. Fornecedores de inferência e destinos de logs configurados continuam sendo partes distintas do caminho dos dados.
A partir da v1.107.0, a telemetria de uso é documentada como desligada salvo ativação, sem registro até selecionar um destino. Não há endpoint HTTP padrão. Grupos ativados podem manter contagens agregadas no banco da implantação ou enviá-las ao endpoint HTTP configurado; telemetria não significa automaticamente enviar um relatório ao LiteLLM.
O esquema declarado exclui prompts, completamentos, chaves de API, IDs de usuários e equipes, nomes de modelos, endereços IP, valores de cabeçalhos e corpos de solicitações. As contagens de tokens são somadas por linha, em vez de mantidas por solicitação. Essas exclusões se referem à telemetria, não a todos os caminhos de logs ou inferência.
As conexões Enterprise têm outro limite. Segundo a documentação de conformidade, a medição de solicitações faturáveis envia a contagem de solicitações bem-sucedidas a um coletor LiteLLM, enquanto verificações de licença podem usar o servidor de licenças ou validar offline uma carga útil assinada. Ela afirma que prompts, respostas, chaves virtuais e a chave de licença não saem da implantação nesse contexto de medição. Essa medição é separada da telemetria de uso opcional.
As páginas de segurança, telemetria, logs e conformidade verificadas nesta captura não especificam uma política geral de treinamento de modelos para todos os fornecedores de origem. Suas declarações sobre hospedagem própria e fluxo de dados não estabelecem como cada serviço de modelo escolhido trata os materiais enviados.
O mantenedor descreve um incidente de cadeia de suprimentos em 24 de março de 2026 que afetou os pacotes PyPI v1.82.7 e v1.82.8. Sua atualização diz que os pacotes foram colocados em quarentena e depois excluídos. A declaração se refere a esses pacotes históricos, não a toda instalação ou versão atual.
Separadamente, pesquisadores independentes de segurança avaliaram v1.77.7 e relataram problemas de acesso à configuração e credenciais de fornecedores, registrados como CVE-2026-35029 e CVE-2026-59823. O relatório afirma que foram resolvidos a partir de v1.83.9. Os impactos descritos incluíam tomada de configuração com poucos privilégios e redirecionamento de chamadas a fornecedores para extrair credenciais. São achados delimitados por versão, não uma alegação de que as mesmas falhas persistem em todas as versões posteriores.
LiteLLM fornece o gateway e o SDK. Fornecedores de origem configurados fornecem a inferência; uma integração de catálogo não estabelece franquia de modelos incluída.
Enterprise ativa funções com uma chave na mesma imagem do gateway com hospedagem própria. A licença adiciona governança e suporte.
Não. O registro pode suprimir conteúdo enquanto metadados de gastos permanecem. Telemetria de uso e medição de solicitações Enterprise têm controles separados.