Conecte aplicaciones a varios proveedores mediante un gateway de IA autoalojado o el SDK de Python. Gestione claves virtuales, rutas, uso y presupuestos, con gobernanza Enterprise opcional.
¿Has usado esta herramienta? Valórala
¿Has usado esta herramienta? Valórala
LiteLLM es un gateway de IA de código abierto y un SDK de Python para conectar aplicaciones con varios proveedores de grandes modelos de lenguaje. Su proxy LLM ofrece un punto de acceso común compatible con OpenAI, mientras el SDK incorpora la integración directamente en una aplicación Python. Enterprise añade gobernanza, funciones de seguridad y soporte al mismo código central.
El gateway se sitúa entre la aplicación y el proveedor elegido: recibe la solicitud, la reenvía al proveedor y devuelve la respuesta en formato OpenAI. Esa distinción define el producto. LiteLLM aporta la capa de acceso y gestión; el modelo detrás de una ruta configurada realiza la inferencia. Un punto de acceso API compatible es una capacidad de integración, no una asignación incluida de todos los modelos a los que puede acceder.
El SDK adapta los proveedores dentro de una sola aplicación. Un gateway compartido centraliza el acceso, la atribución del uso y el enrutamiento para varios clientes.
La oferta comercial actual se centra en el autoalojamiento. El gateway gratuito y la licencia Enterprise de pago responden a distintas necesidades de administración y soporte. Son ofertas de infraestructura, en lugar de suscripciones de chat para consumidores.
El SDK ofrece completado, embeddings y generación de imágenes mediante una interfaz común, además de un Router, excepciones compatibles con OpenAI y callbacks de observabilidad.
stream=True devuelve fragmentos a medida que se generan, permitiendo al cliente mostrar la respuesta progresivamente.El enrutamiento de modelos incluye periodos de enfriamiento, alternativas de respaldo, tiempos de espera y reintentos entre despliegues y proveedores. Los reintentos pueden usar una espera fija o exponencial. Redis puede guardar el estado compartido de enfriamiento y uso en producción. Estos mecanismos reaccionan a despliegues no disponibles o limitados; el éxito de un respaldo sigue dependiendo de la disponibilidad del proveedor.
El Router ofrece selección ponderada, enrutamiento que considera los límites de solicitudes, selección del menos ocupado y enrutamiento por latencia o coste. Un grupo ponderado, uno elegido por latencia y otro por precio se comportan de forma distinta. Elegir una estrategia no optimiza todos los criterios a la vez.
MCP Gateway ofrece un punto de acceso fijo para herramientas MCP y controla el acceso por clave y equipo. Sus operaciones documentadas incluyen listar y llamar herramientas, prompts y recursos. Los transportes admitidos son Streamable HTTP, SSE y entrada/salida estándar. Varios servidores de herramientas pueden compartir el punto de acceso.
AI Gateway también gestiona agentes A2A. Las rutas de modelos, llamadas a herramientas y puntos de acceso de agentes siguen siendo recursos distintos del proveedor, aunque compartan una dirección de gateway.
La gestión de claves virtuales requiere una base Postgres y una clave maestra que actúa como clave de administrador del proxy. La configuración documentada usa DATABASE_URL para la conexión y LITELLM_MASTER_KEY para administrar; después se pueden generar claves mediante /key/generate.
model_list, la conexión Postgres y la clave maestra bajo general_settings.litellm --config /path/to/config.yaml, usando el archivo de configuración guardado./key/generate con la clave maestra en la cabecera de autorización Bearer, contenido de tipo JSON y una lista models que defina el acceso a modelos de la clave generada.base_url del cliente OpenAI en la URL del gateway y su api_key en la clave virtual generada.La clave maestra administra el proxy; una clave virtual autentica una aplicación ante él. Las credenciales del proveedor autorizan la conexión configurada con ese proveedor. Estas credenciales tienen ámbitos diferentes.
El seguimiento del gasto atribuye los costes de modelos a claves, usuarios y equipos entre proveedores. LiteLLM calcula automáticamente los precios de modelos conocidos y aplica información de tramos específica del proveedor si la respuesta contiene esos metadatos. Así separa el consumo por aplicación o departamento aunque se compartan cuentas del proveedor.
El cálculo depende del mapa de costes de modelos y de los precios actuales. El gasto del gateway es un registro operativo calculado, no la factura del proveedor.
El balanceo de carga puede repartir llamadas entre despliegues de Azure, Bedrock y otros proveedores, incluso reintentando en otra región si falla una llamada. Un alias de modelo compartido puede representar varios despliegues configurados, sin exponer cada punto de acceso como una opción distinta a cada aplicación.
Esto mantiene una ruta de solicitud ante fallos de despliegue. El modelo y el proveedor elegidos siguen determinando la respuesta; un alias común no hace idénticos sus resultados.
La documentación indica que SSO es gratuito para hasta cinco usuarios y requiere licencia Enterprise por encima de ese número. Este umbral de identidad es independiente de la disponibilidad del gateway gratuito.
En la captura del 23 de octubre de 2026, una plataforma externa de lanzamiento de productos mostraba una valoración de 5.0 basada en 24 reseñas de LiteLLM. Esa pequeña muestra del producto no mide la latencia, seguridad o coste operativo de un despliegue.
Los clientes compatibles con OpenAI se conectan mediante la URL base del gateway y una clave virtual. Cada cliente compatible puede llamar a esa API sin incorporar el SDK de Python.
LiteLLM también permite conectar modelos internos, ajustados y autoalojados detrás de la misma clave. Los puntos de acceso internos y comerciales pueden compartir un patrón de acceso manteniendo distintos alojamientos, credenciales y comportamientos.
Las opciones de producción incluyen Helm en Amazon EKS, Google GKE y Azure AKS. Hay módulos oficiales de Terraform documentados para AWS y GCP; la guía especifica AKS con Helm para Azure y señala que no hay módulo oficial de Azure Terraform.
Se documentan dos diseños de servicio. Una imagen monolítica atiende juntos el tráfico de modelos, las API de gestión y la interfaz. Una arquitectura de microservicios separa gateway, backend e interfaz. PostgreSQL guarda claves, equipos, usuarios, registros de gasto y configuración, y es necesario para la autenticación y el seguimiento del proxy. Redis comparte el estado de límites de solicitudes, enrutamiento y caché; se documenta como obligatorio cuando funciona más de una instancia.
El operador gestiona los almacenes de estado y el servicio de administración además del componente que reenvía solicitudes.
Los precios capturados el 23 de octubre de 2026 separan el núcleo autoalojado gratuito de una licencia Enterprise anual. El precio Enterprise depende de la capacidad anual de solicitudes del gateway, la arquitectura y las necesidades de soporte, y se describe como nunca calculado por token. La página revisada no publica un importe fijo de suscripción Enterprise.
| Oferta | Modelo de acceso publicado | Alcance incluido |
|---|---|---|
| Open Source | $0; gratis para siempre; autoalojado | Claves virtuales, usuarios y equipos, seguimiento del gasto, presupuestos, límites de solicitudes, respaldos, registros de solicitudes/respuestas y métricas Prometheus |
| Enterprise | Presupuesto comercial anual según despliegue y capacidad de solicitudes | Gateway central más funciones adicionales de identidad, auditoría, gestión de secretos, administración, varias regiones y soporte |
Enterprise utiliza una clave de licencia en la misma imagen del gateway, sin exigir migrar a otro producto alojado. Sus funciones adicionales incluyen SSO y SCIM, registros de auditoría, administradores de organización y equipo, gestores de secretos, listas de IP permitidas, registros por equipo, funciones multirregión y SLA de soporte.
Se puede obtener por correo una clave de prueba Enterprise de 30 días. La compra se ofrece directamente, a través de AWS Marketplace o distribuidores autorizados. La prueba concede acceso Enterprise por tiempo limitado.
El soporte Enterprise estándar incluye un canal dedicado de Slack o Teams con ingenieros de LiteLLM, en horario publicado de 9 de la mañana a 9 de la noche PST entre semana, sin tiempo de respuesta garantizado. Los SLA que garantizan respuesta 24/7 son una opción de pago adicional.
La licencia original aplica MIT al código fuera del directorio enterprise y de las restricciones indicadas; el contenido enterprise tiene una licencia aparte. MIT permite uso, modificación, distribución, sublicencia y venta con condiciones, entre ellas conservar el aviso de derechos de autor y permiso.
La indicación $0 cubre la licencia del software autoalojado. La infraestructura y la inferencia del proveedor son partes separadas de la arquitectura; la compatibilidad no establece un saldo de tokens ni una cuota de modelos incluidos.
Portkey se presenta como una interfaz unificada para aplicaciones de IA generativa, con herramientas de control, visibilidad y seguridad. Su alcance declarado combina acceso a modelos con supervisión y gobernanza.
La comparación abarca tanto la capa operativa como el acceso API. LiteLLM ofrece el gateway autoalojado y el SDK de Python con activación Enterprise opcional; la coincidencia de capacidades no implica equivalencia de licencias o soporte.
OpenRouter da acceso a cientos de modelos con un único punto de acceso API, respaldos automáticos y selección de una opción económica para cada solicitud. LiteLLM aborda el acceso común mediante software que se ejecuta en el despliegue de la organización, con sus propios proveedores y controles de acceso.
Ambas opciones coinciden en la agregación de API. Sus catálogos por sí solos no explican la diferencia entre una biblioteca Python, un gateway operado y un punto de acceso de servicio.
drop_params. Ese ajuste elimina los parámetros OpenAI no compatibles; los demás se tratan como campos de solicitud propios del proveedor. Un formato común no garantiza que cada proveedor implemente todas las funciones de cada modelo.LITELLM_SALT_KEY cifra las credenciales del proveedor en la base de datos. La guía indica que cambiarla tras añadir modelos hace ilegibles esas credenciales. Es distinto de rotar una clave virtual o una clave del proveedor.hide_secrets y openai_moderations, requieren Enterprise.Desactivar el registro de mensajes evita enviar mensajes y respuestas al proveedor de registros configurado, mientras se siguen rastreando metadatos de solicitud, como el gasto. La supresión de contenido conserva metadatos operativos. Los proveedores de inferencia y los destinos de registro configurados siguen siendo partes distintas del recorrido de datos.
Desde v1.107.0, la telemetría de uso se documenta como desactivada salvo habilitación, sin registrar hasta elegir un destino. No tiene un punto de acceso HTTP predeterminado. Los grupos habilitados pueden guardar recuentos agregados en la base del despliegue o enviarlos al punto HTTP configurado; telemetría no significa automáticamente enviar un informe a LiteLLM.
El esquema declarado excluye prompts, completados, claves API, ID de usuarios y equipos, nombres de modelos, direcciones IP, valores de cabeceras y cuerpos de solicitudes. Los tokens se suman por fila en lugar de conservarse por solicitud. Estas exclusiones afectan a la telemetría, no a todas las rutas de registro o inferencia.
Las conexiones Enterprise tienen otro límite. Según la documentación de cumplimiento, la medición de solicitudes facturables envía un recuento de solicitudes exitosas a un colector de LiteLLM, mientras las verificaciones de licencia pueden usar el servidor de licencias o validar sin conexión una carga útil firmada. Indica que prompts, respuestas, claves virtuales y clave de licencia no salen del despliegue en ese contexto de medición. Esta es distinta de la telemetría de uso opcional.
Las páginas de seguridad, telemetría, registros y cumplimiento revisadas en esta captura no especifican una política general de entrenamiento de modelos para todos los proveedores. Sus declaraciones de autoalojamiento y flujo de datos no establecen cómo cada servicio elegido trata los contenidos enviados.
El responsable describe un incidente de cadena de suministro del 24 de marzo de 2026 que afectó a los paquetes PyPI v1.82.7 y v1.82.8. Su actualización dice que fueron puestos en cuarentena y después eliminados. La declaración se refiere a esos paquetes históricos, no a todas las instalaciones ni a la versión actual.
Por separado, investigadores independientes de seguridad evaluaron v1.77.7 y comunicaron problemas de acceso a configuración y credenciales de proveedores, registrados como CVE-2026-35029 y CVE-2026-59823. Su informe indica que estaban resueltos a partir de v1.83.9. Los efectos descritos incluían tomar la configuración con pocos privilegios y redirigir llamadas al proveedor para extraer credenciales. Son hallazgos acotados por versión, no una afirmación de que los mismos fallos persistan en todas las versiones posteriores.
LiteLLM proporciona el gateway y el SDK. Los proveedores configurados realizan la inferencia; una integración de catálogo no establece una asignación de modelos incluida.
Enterprise activa funciones con una clave en la misma imagen del gateway autoalojado. La licencia añade gobernanza y soporte.
No. El registro puede omitir el contenido mientras permanecen los metadatos del gasto. La telemetría de uso y la medición de solicitudes Enterprise tienen controles separados.