LiteLLM 4장 카드뉴스

AI 개발도구 분야에서 미국 BerriAI가 2023년에 공개한 오픈소스 LLM 게이트웨이로, OpenAI 형식 API 한 줄로 100여 개 모델(Anthropic·Google·오픈모델 등)을 호출할 수 있게 통합해 줍니다.

LiteLLM은 회사마다 호출 방식이 다른 AI 모델들을 OpenAI 형식 한 가지로 통일해 부르게 해 주는 오픈소스 중계 도구예요. 조별 과제에서 팀원마다 양식이 다른 보고서를 받았을 때 한 장의 표준 양식으로 다시 받아 정리하는 것과 비슷합니다. 이렇게 묶어 두면 모델 이름만 바꿔서 GPT·Claude·Gemini를 같은 코드로 호출할 수 있고, 가상 키를 발급해 팀별 예산과 사용량까지 한 자리에서 관리할 수 있어요. 신규 모델이 나와도 라우팅만 갈아 끼우면 되니, 사내 LLM 표준 창구를 빠르게 세우려는 팀이 자주 선택하는 도구예요.

**케이스 1: Netflix — 신규 모델 Day 0 사내 노출 체계** 넷플릭스는 LiteLLM을 사내 게이트웨이로 두고 OpenAI·Anthropic·Google이 새 모델을 공개하는 즉시 사내 개발자에게 노출하는 체계를 운영 중입니다.[1] 공식 사이트 인용에 따르면 "모델이 출시된 그날 안에" 접근 권한이 열린다고 밝혔습니다.[1] 코드 변경 없이 라우팅만 바꾸면 되기 때문에, 사내