LiteLLM 4장 카드뉴스

AI 개발도구 분야에서 미국 BerriAI가 2023년에 공개한 오픈소스 LLM 게이트웨이로, OpenAI 형식 API 한 줄로 100여 개 모델(Anthropic·Google·오픈모델 등)을 호출할 수 있게 통합해 줍니다.

LiteLLM은 회사마다 호출 방식이 다른 AI 모델들을 OpenAI 형식 한 가지로 통일해 부르게 해 주는 오픈소스 중계 도구예요. 조별 과제에서 팀원마다 양식이 다른 보고서를 받았을 때 한 장의 표준 양식으로 다시 받아 정리하는 것과 비슷합니다. 이렇게 묶어 두면 모델 이름만 바꿔서 GPT·Claude·Gemini를 같은 코드로 호출할 수 있고, 가상 키를 발급해 팀별 예산과 사용량까지 한 자리에서 관리할 수 있어요.

[1] 코드 변경 없이 라우팅만 바꾸면 되기 때문에, 사내 평가팀이 신규 모델을 검토하는 사이 다른 팀은 기존 파이프라인을 그대로 돌릴 수 있습니다. [1] GPT-4와 Claude를 동시에 운영하면서 프롬프트·로그를 통합 관리하고, 팀 단위 예산을 가상 키(virtual key)로 분리해 통제하는 방식입니다. 자체 인프라 안에서 호스팅한다는 점이 보험사 규제 환경에 부합한다는 평가입니다.