자체 호스팅 AI 게이트웨이나 Python SDK로 여러 모델 제공업체를 연결합니다. 가상 키, 라우팅, 사용량, 팀 예산을 관리하며 Enterprise 거버넌스를 선택할 수 있습니다.
이 도구를 사용해 보셨나요? 평점을 남겨 주세요
이 도구를 사용해 보셨나요? 평점을 남겨 주세요
LiteLLM은 애플리케이션을 여러 대규모 언어 모델 제공업체에 연결하는 오픈 소스 AI 게이트웨이이자 Python SDK입니다. LLM 프록시는 공통 OpenAI 호환 엔드포인트를 제공하고, SDK는 Python 애플리케이션 안에 통합 기능을 넣습니다. Enterprise는 같은 핵심 코드에 거버넌스, 보안 기능, 지원을 추가합니다.
게이트웨이는 애플리케이션과 선택한 모델 제공업체 사이에서 요청을 받아 업스트림으로 전달하고 OpenAI 형식의 응답을 반환합니다. 이 구분이 제품의 역할을 규정합니다. LiteLLM은 접근 및 관리 계층을, 설정된 경로 뒤의 모델은 추론을 제공합니다. API 엔드포인트 호환성은 통합 능력이며, 연결 가능한 모든 모델의 사용량이 묶여 제공된다는 뜻은 아닙니다.
SDK는 단일 애플리케이션 안에서 제공업체를 조정합니다. 공유 게이트웨이는 여러 클라이언트의 접근, 사용량 귀속, 라우팅을 중앙화합니다.
현재 상용 제품은 자체 호스팅을 중심으로 합니다. 무료 게이트웨이와 유료 Enterprise 라이선스는 서로 다른 관리 및 지원 요구에 대응하는 인프라 제품이며, 소비자용 채팅 구독이 아닙니다.
SDK는 공통 인터페이스로 완성, 임베딩, 이미지 생성을 제공하며 Router, OpenAI 호환 예외, 관측 가능성 콜백도 제공합니다.
stream=True를 설정하면 생성되는 청크가 반환되어 클라이언트가 답변을 점진적으로 표시할 수 있습니다.모델 라우팅은 여러 배포와 제공업체에 걸친 쿨다운, 폴백, 타임아웃, 재시도를 포함합니다. 재시도에는 고정 또는 지수 백오프를 쓸 수 있고, 프로덕션에서는 Redis에 쿨다운과 사용량 상태를 공유할 수 있습니다. 이 메커니즘은 사용 불가나 속도 제한 상태의 배포에 대응하지만, 폴백 성공 여부는 여전히 업스트림 가용성에 달려 있습니다.
Router는 가중치 선택, 속도 제한 인식 라우팅, 최소 부하 라우팅, 지연 시간 기반 라우팅, 비용 기반 라우팅을 제공합니다. 가중치 풀, 지연 시간 선택 풀, 가격 선택 풀은 동작이 다릅니다. 전략 하나를 고른다고 모든 기준이 동시에 최적화되지는 않습니다.
MCP Gateway는 MCP 도구에 고정 엔드포인트 하나를 제공하고 키와 팀별로 접근을 제어합니다. 문서상 작업에는 도구, 프롬프트, 리소스의 나열과 호출이 포함됩니다. Streamable HTTP, SSE, 표준 입출력 전송을 지원하며 여러 도구 서버가 접근 엔드포인트를 공유할 수 있습니다.
AI Gateway는 A2A 에이전트도 처리합니다. 모델 경로, 도구 호출, 에이전트 엔드포인트는 게이트웨이 주소가 같아도 서로 다른 업스트림 리소스입니다.
가상 키 관리에는 Postgres 데이터베이스와 프록시 관리자 키 역할의 마스터 키가 필요합니다. 문서의 설정은 데이터베이스 연결에 DATABASE_URL, 관리에 LITELLM_MASTER_KEY를 사용하며 이후 /key/generate에서 키를 생성합니다.
model_list 항목, Postgres 연결, general_settings 아래의 마스터 키를 포함하는 설정을 만듭니다.litellm --config /path/to/config.yaml을 실행해 프록시를 시작합니다./key/generate에 POST 요청을 보냅니다. Bearer 인증 헤더에 마스터 키를 넣고 JSON 콘텐츠 유형과 생성할 키의 모델 접근 범위를 정의하는 models 목록을 사용합니다.base_url을 게이트웨이 URL로, api_key를 생성한 가상 키로 설정합니다.마스터 키는 프록시를 관리하고, 가상 키는 애플리케이션을 프록시에 인증합니다. 제공업체 자격 증명은 설정된 업스트림 연결을 승인합니다. 각 자격 증명의 범위는 다릅니다.
지출 추적은 여러 제공업체의 모델 비용을 키, 사용자, 팀에 귀속시킵니다. LiteLLM은 알려진 모델의 가격을 자동 계산하며 응답에 관련 메타데이터가 있으면 제공업체별 구간 정보도 적용합니다. 업스트림 계정을 공유하더라도 애플리케이션이나 부서별 소비를 구분합니다.
계산은 모델 비용 맵과 현재 가격 데이터에 의존합니다. 게이트웨이 지출은 계산된 운영 기록이며 업스트림 청구서가 아닙니다.
로드 밸런싱은 Azure, Bedrock 등 제공업체의 배포에 호출을 분산하며, 호출 실패 시 다른 지역에서 재시도할 수 있습니다. 공유 모델 별칭은 여러 설정된 배포를 나타낼 수 있어 각 애플리케이션에 모든 엔드포인트를 개별 선택지로 노출할 필요가 없습니다.
이는 배포 장애 중에도 요청 경로를 유지합니다. 응답은 선택된 모델과 제공업체가 결정하며, 같은 별칭을 쓴다고 출력이 같아지지는 않습니다.
문서상 SSO는 최대 5명까지 무료이며 그 이상은 Enterprise 라이선스가 필요합니다. 이 신원 기능 기준과 무료 게이트웨이 이용 가능 여부는 별개입니다.
2026년 10월 23일 수집 당시 제3자 제품 출시 플랫폼에는 LiteLLM 리뷰 24개를 바탕으로 평점 5.0이 표시되었습니다. 이 소규모 제품 수준 표본은 배포의 지연 시간, 보안, 운영 비용을 측정하지 않습니다.
OpenAI 호환 클라이언트는 게이트웨이 기본 URL과 가상 키로 연결합니다. 각 호환 클라이언트는 Python SDK를 포함하지 않고도 이 API를 호출할 수 있습니다.
LiteLLM은 내부 모델, 미세 조정 모델, 자체 호스팅 모델을 같은 키 뒤에 연결하는 기능도 지원합니다. 내부 및 상용 엔드포인트가 접근 방식을 공유하면서 호스팅, 자격 증명, 동작은 다르게 유지할 수 있습니다.
프로덕션 배포 경로에는 Amazon EKS, Google GKE, Azure AKS의 Helm이 포함됩니다. AWS와 GCP용 공식 Terraform 모듈이 문서화되어 있습니다. 배포 가이드는 Azure에 AKS와 Helm을 지정하고 공식 Azure Terraform 모듈은 없다고 명시합니다.
문서에는 서비스 구성 두 가지가 나옵니다. 모놀리식 이미지는 모델 트래픽, 관리 API, UI를 함께 처리하며 마이크로서비스 구성은 게이트웨이, 백엔드, UI를 분리합니다. PostgreSQL은 키, 팀, 사용자, 지출 로그, 설정을 저장하고 프록시 인증 및 추적 기능에 필수입니다. Redis는 속도 제한, 라우팅, 캐시 상태를 공유하며, 문서상 인스턴스가 둘 이상이면 필수입니다.
운영자는 요청 전달 구성 요소 외에도 상태 저장소와 관리 서비스를 운영합니다.
2026년 10월 23일 수집한 가격은 무료 자체 호스팅 코어와 연간 Enterprise 라이선스를 구분합니다. Enterprise 가격은 연간 게이트웨이 요청 용량, 배포 아키텍처, 지원 요구에 따라 정해지며 토큰별 과금은 절대 하지 않는다고 설명합니다. 확인한 가격 페이지에는 고정 Enterprise 구독 금액이 없습니다.
| 제품 | 공개된 이용 방식 | 포함 범위 |
|---|---|---|
| Open Source | $0; 영구 무료; 자체 호스팅 | 가상 키, 사용자와 팀, 지출 추적, 예산, 속도 제한, 폴백, 요청/응답 로깅, Prometheus 지표 |
| Enterprise | 배포와 요청 용량에 따른 연간 영업 견적 | 코어 게이트웨이에 신원, 감사, 비밀 관리, 관리, 다중 지역, 지원 기능 추가 |
Enterprise는 별도 호스팅 제품으로 이전하는 대신 같은 게이트웨이 이미지에서 라이선스 키를 사용합니다. 추가 기능 목록에는 SSO와 SCIM, 감사 로그, 조직 및 팀 관리자, 비밀 관리자, IP 허용 목록, 팀별 로깅, 다중 지역 기능, 지원 SLA가 포함됩니다.
이메일로 30일 Enterprise 체험 키를 받을 수 있습니다. 직접 구매, AWS Marketplace, 공인 리셀러를 통해 조달할 수 있으며 체험은 기간 한정 Enterprise 접근을 제공합니다.
표준 Enterprise 지원에는 LiteLLM 엔지니어와의 전용 Slack 또는 Teams 채널이 포함됩니다. 공개 지원 시간은 평일 PST 오전 9시부터 오후 9시까지이며 응답 시간을 보장하지 않습니다. 응답을 보장하는 24/7 SLA는 추가 유료 옵션입니다.
업스트림 라이선스는 enterprise 디렉터리와 명시된 제한 밖의 코드에 MIT를 적용하며 enterprise 콘텐츠에는 별도 라이선스를 적용합니다. MIT는 저작권 및 허가 고지 보존 등의 조건 아래 사용, 수정, 배포, 재라이선스, 판매를 허용합니다.
$0 표시는 자체 호스팅 소프트웨어 라이선스에 해당합니다. 인프라와 업스트림 추론은 아키텍처의 별도 부분이며, 제공업체 호환성이 토큰 잔액이나 모델 할당량 포함을 뜻하지는 않습니다.
Portkey는 생성형 AI 애플리케이션의 통합 인터페이스로서 제어, 가시성, 보안 도구를 제공한다고 설명합니다. 명시된 범위는 모델 접근과 모니터링, 거버넌스를 결합합니다.
비교는 API 접근뿐 아니라 운영 계층도 포함합니다. LiteLLM은 자체 호스팅 게이트웨이와 Python SDK에 선택적 Enterprise 활성화를 제공합니다. 기능 중복이 같은 라이선스나 지원을 의미하지는 않습니다.
OpenRouter는 단일 API 엔드포인트에서 수백 개 모델을 제공하며 자동 폴백과 요청에 비용 효율적인 옵션 선택을 지원합니다. LiteLLM은 조직 배포에서 실행되는 소프트웨어로 공통 모델 접근을 제공하며 조직의 제공업체와 접근 제어를 사용합니다.
두 선택지는 API 집계에서 겹칩니다. 모델 카탈로그만으로는 Python 라이브러리, 직접 운영하는 게이트웨이, 서비스 엔드포인트의 차이를 설명할 수 없습니다.
drop_params를 활성화하지 않으면 지원되지 않는 OpenAI 매개변수에 예외를 발생시킵니다. 이 설정은 미지원 OpenAI 매개변수를 제거하고 나머지 매개변수는 제공업체별 요청 필드로 취급합니다. 공통 요청 형식이 모든 제공업체의 모든 모델 기능 구현을 보장하지 않습니다.LITELLM_SALT_KEY는 데이터베이스의 제공업체 자격 증명을 암호화합니다. 배포 가이드는 모델 추가 후 이를 변경하면 해당 자격 증명을 읽을 수 없다고 명시합니다. 이는 가상 키나 업스트림 제공업체 키 교체와 다릅니다.hide_secrets, openai_moderations 등 특정 내장 콜백은 Enterprise가 필요합니다.메시지 로깅을 끄면 메시지와 응답이 설정된 로깅 제공업체로 전송되지 않지만 지출 같은 요청 메타데이터는 계속 추적됩니다. 콘텐츠 삭제 처리 후에도 운영 메타데이터는 남습니다. 추론 제공업체와 설정된 로그 대상은 데이터 경로의 별도 부분입니다.
v1.107.0부터 문서화된 사용량 텔레메트리는 활성화하지 않으면 꺼져 있으며 대상을 선택하기 전에는 기록하지 않습니다. 기본 HTTP 엔드포인트도 없습니다. 활성화된 그룹은 배포 데이터베이스에 집계 수를 저장하거나 설정된 HTTP 엔드포인트로 보낼 수 있습니다. 텔레메트리가 자동으로 LiteLLM에 보고한다는 뜻은 아닙니다.
공개 텔레메트리 스키마는 프롬프트, 완성, API 키, 사용자 및 팀 ID, 모델 이름, IP 주소, 헤더 값, 요청 본문을 제외합니다. 토큰 수는 요청별로 보관하지 않고 행별로 합산합니다. 이는 텔레메트리의 제외 사항이며 모든 로깅이나 추론 경로에 적용되지는 않습니다.
Enterprise 연결에는 별도 경계가 있습니다. 규정 준수 문서는 과금 대상 요청 계량이 성공한 요청 수를 LiteLLM 수집기로 보내며, 라이선스 검사는 라이선스 서버를 쓰거나 오프라인 서명 페이로드를 검증할 수 있다고 설명합니다. 이 계량 맥락에서 프롬프트, 응답, 가상 키, 라이선스 키는 배포 밖으로 나가지 않는다고 명시합니다. 이 계량은 선택적 사용량 텔레메트리와 별개입니다.
이번에 확인한 보안, 텔레메트리, 로깅, 규정 준수 페이지는 모든 업스트림 제공업체에 대한 일반 모델 학습 정책을 명시하지 않습니다. 자체 호스팅과 데이터 흐름 설명만으로 선택한 모든 모델 서비스의 제출 데이터 처리 방식을 알 수는 없습니다.
유지관리자는 2026년 3월 24일 PyPI 패키지 v1.82.7과 v1.82.8에 영향을 준 공급망 사건을 설명합니다. 업데이트에 따르면 이 패키지들은 격리된 후 삭제되었습니다. 이는 과거 릴리스 패키지에 대한 설명이며 모든 설치나 현재 릴리스를 지칭하지 않습니다.
별도로 독립 보안 연구진은 v1.77.7을 평가해 CVE-2026-35029와 CVE-2026-59823으로 추적되는 설정 접근 및 제공업체 자격 증명 문제를 보고했습니다. 보고서는 v1.83.9 시점에 문제가 해결되었다고 명시합니다. 영향에는 낮은 권한을 통한 설정 장악과 자격 증명 유출을 위한 제공업체 호출 리디렉션이 포함되었습니다. 이는 버전 범위가 있는 발견이며 같은 결함이 모든 후속 릴리스에 남아 있다는 주장이 아닙니다.
LiteLLM은 게이트웨이와 SDK를 제공합니다. 설정된 업스트림 제공업체가 추론을 제공하며 카탈로그 통합이 모델 사용량 포함을 의미하지는 않습니다.
Enterprise는 같은 자체 호스팅 게이트웨이 이미지에서 키로 기능을 활성화합니다. 라이선스는 거버넌스와 지원을 추가합니다.
아닙니다. 메시지 로깅은 콘텐츠를 억제할 수 있지만 지출 메타데이터는 남습니다. 사용량 텔레메트리와 Enterprise 요청 계량에는 별도 제어가 있습니다.