5건
KV Cache
케이브이 캐시
LLM 추론 분야에서 쓰이는 Key-Value Cache(키-값 캐시)의 약자로, 언어 모델이 답을 생성할 때 앞 토큰들의 어텐션 계산 결과인 키와 값을 GPU 메모리에 저장해 두고 재사용하는 기법입니다. 매 토큰마다 전체 문맥을 다시 계산하는 낭비를 없애 생성 속도를 높입니다. 대신 문맥이 길어질수록 캐시가 메모리를 차지해, LLM 서빙 비용과 컨텍스트 길이 한계를 결정하는 핵심 변수가 됩니다. API 제공사의 프롬프트 캐싱 할인은 이 캐시를 재사용하는 상용화 형태입니다.
개발
NPU
엔피유
AI 반도체 분야에서 쓰이는 Neural Processing Unit(신경망 처리 장치)의 약자로, 신경망 연산을 저전력으로 빠르게 처리하도록 특화한 프로세서입니다. 범용 계산용 CPU, 병렬 그래픽 연산용 GPU와 달리 AI 추론 가속만을 노리고 설계됩니다. 성능은 초당 조 단위 연산 횟수인 TOPS로 표기합니다. 스마트폰·노트북의 온디바이스 AI부터 데이터센터용 AI 가속기까지 쓰임이 넓어지고 있습니다.
AI 트렌드
vLLM
브이엘엘엠
LLM 추론·서빙 분야의 오픈소스 엔진으로, 같은 GPU에서 더 많은 요청을 처리하도록 메모리 관리를 최적화한 것이 핵심입니다. UC 버클리에서 시작했고, 운영체제의 가상 메모리에서 착안한 PagedAttention 기법으로 KV 캐시 낭비를 4% 미만으로 줄였습니다. 이름의 v도 가상(virtual)에서 왔습니다. 2023년 논문 기준 동급 지연시간에서 기존 서빙 시스템 대비 처리량을 2~4배 높였고, 지금은 사실상의 표준 오픈소스 추론 엔진으로 불립니다.
AI 개발도구
Sovereign AI
소버린 에이아이
AI 정책·산업 분야에서 쓰이는 용어로, 한 국가가 자국의 인프라·데이터·인력·제도로 AI 개발과 운영 역량을 확보해 외국 기술 의존을 줄이려는 전략, 또는 그렇게 확보한 AI 역량 자체를 가리킵니다. 데이터센터와 GPU 같은 컴퓨팅 자원, 자국어 데이터로 학습한 파운데이션 모델, 이를 다룰 인재를 국가 단위로 갖추는 것이 핵심입니다. 2024년 엔비디아가 각국 정부에 개념을 확산시켰고, 한국도 독자 AI 파운데이션 모델 프로젝트 등으로 국가 AI 정책의 기조로 삼고 있습니다.
AI 트렌드
Quantization
퀀타이제이션
AI 모델의 가중치와 활성값을 32비트·16비트 부동소수점에서 8비트·4비트 정수 같은 낮은 정밀도로 바꿔 크기와 연산량을 줄이는 모델 경량화 기법입니다. 정밀도를 낮추면 메모리 사용량과 응답 지연이 함께 줄어, 같은 GPU에서 더 큰 모델을 올리거나 휴대폰에서 온디바이스로 구동할 수 있습니다. 학습을 마친 모델에 적용하는 사후 양자화(PTQ)와 학습 과정에 반영하는 양자화 인식 학습(QAT)으로 나뉩니다. 정확도 손실을 얼마나 억제하느냐가 관건입니다.
기본