vLLM 4장 카드뉴스

LLM 추론·서빙 분야의 오픈소스 엔진으로, 같은 GPU에서 더 많은 요청을 처리하도록 메모리 관리를 최적화한 것이 핵심입니다. UC 버클리에서 시작했고, 운영체제의 가상 메모리에서 착안한 PagedAttention 기법으로 KV 캐시 낭비를 4% 미만으로 줄였습니다. 이름의 v도 가상(virtual)에서 왔습니다. 2023년 논문 기준 동급 지연시간에서 기존 서빙 시스템 대비 처리량을 2~4배 높였고, 지금은 사실상의 표준 오픈소스 추론 엔진으로 불립니다.

브이엘엘엠(vLLM)은 LLM을 '서비스'로 돌릴 때 쓰는 고성능 엔진입니다. 챗봇처럼 여러 사람의 요청이 동시에 들어오는 상황에서, GPU 메모리를 페이지 단위로 잘게 나눠 쓰는 방식으로 낭비를 줄여요. 그 덕에 같은 장비로 더 많은 사용자를 감당합니다. 혼자 쓰는 로컬 실행기 Ollama와 달리, 조직이 여러 사용자에게 모델을 서빙할 때 고르는 도구입니다.

케이스 1: LMSYS — Chatbot Arena 서빙 GPU를 절반으로 vLLM은 2023년 6월 공개 시점에 이미 두 달간 LMSYS의 Chatbot Arena와 Vicuna 데모를 서빙하고 있었습니다 [1]. 일평균 3만 건, 피크 6만 건의 요청을 처리했습니다 [1]. FastChat 백엔드로 통합돼 실전 검증을 마쳤습니다 [1]. 도입효과: 동일 트래픽 서빙 GPU 수 50% 절감