AI 개발도구

LiteLLM

라이트엘엘엠

AI 개발도구 분야에서 미국 BerriAI가 2023년에 공개한 오픈소스 LLM 게이트웨이로, OpenAI 형식 API 한 줄로 100여 개 모델(Anthropic·Google·오픈모델 등)을 호출할 수 있게 통합해 줍니다.

쉬운 풀이

LiteLLM은 회사마다 호출 방식이 다른 AI 모델들을 OpenAI 형식 한 가지로 통일해 부르게 해 주는 오픈소스 중계 도구예요. 조별 과제에서 팀원마다 양식이 다른 보고서를 받았을 때 한 장의 표준 양식으로 다시 받아 정리하는 것과 비슷합니다. 이렇게 묶어 두면 모델 이름만 바꿔서 GPT·Claude·Gemini를 같은 코드로 호출할 수 있고, 가상 키를 발급해 팀별 예산과 사용량까지 한 자리에서 관리할 수 있어요. 신규 모델이 나와도 라우팅만 갈아 끼우면 되니, 사내 LLM 표준 창구를 빠르게 세우려는 팀이 자주 선택하는 도구예요.

한 줄 비유

거래처마다 다른 발주 양식을 한 장의 표준 양식으로 통일하는 구매팀 SOP입니다.

활용 예시

Case 1

Netflix — 신규 모델 Day 0 사내 노출 체계

넷플릭스는 LiteLLM을 사내 게이트웨이로 두고 OpenAI·Anthropic·Google이 새 모델을 공개하는 즉시 사내 개발자에게 노출하는 체계를 운영 중입니다.^[1] 공식 사이트 인용에 따르면 "모델이 출시된 그날 안에" 접근 권한이 열린다고 밝혔습니다.^[1] 코드 변경 없이 라우팅만 바꾸면 되기 때문에, 사내 평가팀이 신규 모델을 검토하는 사이 다른 팀은 기존 파이프라인을 그대로 돌릴 수 있습니다.

Case 2

Lemonade — 인슈어테크 멀티모델 운영 단일화

미국 인슈어테크 Lemonade는 GenAI 플랫폼 아키텍트 Mark Koltnuk의 공식 인용을 통해 "LiteLLM과 Langfuse로 여러 LLM 모델 관리 복잡도를 정리했다"고 밝혔습니다.^[1] GPT-4와 Claude를 동시에 운영하면서 프롬프트·로그를 통합 관리하고, 팀 단위 예산을 가상 키(virtual key)로 분리해 통제하는 방식입니다. 자체 인프라 안에서 호스팅한다는 점이 보험사 규제 환경에 부합한다는 평가입니다.

Case 3

엔터프라이즈 게이트웨이 — Adobe·Stripe·Rocket Money 도입

공식 사이트와 Y Combinator 프로필 기준 Adobe·Stripe·Rocket Money·Siemens 등이 프로덕션 사용자로 게재되어 있습니다.^[1][2] 공식 문서 기준 프록시 서버는 /chat/completions·/embeddings·/images·/audio·/rerank 등 OpenAI 호환 엔드포인트를 모두 지원하며, 가상 키별 지출 추적·예산 한도·Redis 캐시·트래픽 미러링을 기본 제공합니다.^[3][6] 사내 LangChain·LlamaIndex 코드도 수정 없이 그대로 붙는다는 점이 채택 사유로 자주 제시됩니다.^[6]

Case 4

한국 도입 흐름 — ITWorld·Anthropic 한국어 공식 문서 게재

ITWorld 한국판이 2025년 "라이트LLM, 통합 LLM 액세스를 위한 오픈소스 게이트웨이" 기사를 게재하며 국내 엔터프라이즈 도입 검토 대상으로 소개했습니다.^[7] Anthropic 공식 한국어 문서도 Claude Code의 LLM 게이트웨이 구성 예시로 LiteLLM을 명시하고 있으며,^[8] 국내 아키텍처 가이드도 "100+ LLM 통합 서빙과 비용 관리" 표준 패턴으로 정리해 자체 인프라 운영이 필요한 금융·공공·헬스케어 환경에 적합 사례로 제시합니다.^[9]

오늘 바로 해보기

pip install litellm으로 SDK를 설치합니다.
환경변수에 OPENAI_API_KEY와 ANTHROPIC_API_KEY를 함께 등록합니다.
from litellm import completion으로 gpt-4o와 claude-sonnet-4를 같은 함수로 한 번씩 호출해 응답 포맷이 동일한지 확인합니다.
litellm --model gpt-4o로 로컬 프록시를 띄우고 OpenAI SDK의 base_url만 http://localhost:4000으로 바꿔 같은 코드가 그대로 동작하는지 확인합니다.
config.yaml에 모델 두 개와 max_budget을 적어 가상 키 1개를 발급하고 팀 단위 사용량 추적이 되는지 점검합니다.

한계와 진화

LiteLLM은 번역 레이어이므로 각 프로바이더 고유 기능을 100% 매핑하지는 못합니다. 공식 문서에 따르면 모델별 엔드포인트 차이는 자동 브리지로 보완하지만, 일부 네이티브 파라미터는 누락될 수 있어 정밀 튜닝이 필요한 경우 직접 호출이 권장됩니다.^[3] 셀프 호스팅 프록시는 자체 인프라 운영 책임이 따르며, OpenRouter 같은 매니지드 게이트웨이와 비교했을 때 호스팅·스케일링·패치 부담이 도입 조직에 있다는 점이 비교 분석에서 자주 지적됩니다.^[10] 또한 가상 키·예산 한도 같은 엔터프라이즈 기능 일부는 유료 라이선스로 분리되어 있어, 본격 사내 배포 단계에서는 오픈소스 코어와 엔터프라이즈 에디션의 기능 차이를 미리 확인해 두는 편이 안전합니다.^[6]

진화 방향은 단일 SDK에서 엔터프라이즈 LLMOps 플랫폼으로의 확장입니다. 공식 발표 기준 가드레일·로드밸런싱·로그 콜백·Redis 기반 시맨틱 캐시가 차례로 추가되며 LLM Proxy가 사내 LLM 라우팅·관측 표준으로 자리잡는 흐름입니다.^[1][6] 2024년 ARR 250만 달러를 보고한 데 이어 2025년 시리즈 A 1,500만 달러를 조달하며 BerriAI는 엔터프라이즈 보안·SSO·감사 로그 기능 강화에 자금을 투입한다고 밝혔고,^[4][5] OpenRouter가 매니지드 SaaS 시장을 키우는 동안 LiteLLM은 "오픈소스·셀프호스팅 표준" 자리를 굳히는 양강 구도가 형성되고 있다고 평가됩니다.^[10] 국내에서도 금융·공공·헬스케어처럼 데이터를 외부 SaaS로 보내기 어려운 도메인이 사내 LLM 라우팅 표준 후보로 LiteLLM을 1순위 검토 대상에 올리는 흐름이 자리 잡고 있습니다.^[7][9]

이 용어와의 관계

유사 개념
AI Pair Programmer같은 AI 개발도구 갈래에서 자주 함께 등장하는 개념입니다.
유사 개념
AI IDE같은 AI 개발도구 갈래에서 자주 함께 등장하는 개념입니다.
유사 개념
Cursor Tab같은 AI 개발도구 갈래에서 자주 함께 등장하는 개념입니다.