3건
Attention Mechanism
어텐션 메커니즘
어텐션 메커니즘은 입력 데이터의 여러 부분에 서로 다른 가중치를 매겨, 지금 필요한 부분만 골라 보게 만드는 계산 방식입니다 [6]. 문장 전체를 고정 길이 벡터 하나로 압축하던 기존 구조의 병목을 없앤 것이 핵심입니다 [2]. 2014년 기계번역 연구에서 원문 가운데 관련 있는 부분을 모델이 자동으로 찾아내는 방식으로 처음 제안됐고 [2], 2017년 구글 연구진의 트랜스포머 논문이 순환·합성곱 구조를 걷어내고 어텐션만으로 모델을 구성하면서 오늘날 대형 언어모델의 기본 골격이 됐습니다 [1].
기본
KV Cache
케이브이 캐시
LLM 추론 분야에서 쓰이는 Key-Value Cache(키-값 캐시)의 약자로, 언어 모델이 답을 생성할 때 앞 토큰들의 어텐션 계산 결과인 키와 값을 GPU 메모리에 저장해 두고 재사용하는 기법입니다. 매 토큰마다 전체 문맥을 다시 계산하는 낭비를 없애 생성 속도를 높입니다. 대신 문맥이 길어질수록 캐시가 메모리를 차지해, LLM 서빙 비용과 컨텍스트 길이 한계를 결정하는 핵심 변수가 됩니다. API 제공사의 프롬프트 캐싱 할인은 이 캐시를 재사용하는 상용화 형태입니다.
개발
Transformer
트랜스포머
AI 기초 분야에서 쓰이는 용어로, 2017년 구글 연구진이 발표한 신경망 구조로, 문장 안 모든 단어가 서로 어떤 관계인지 한 번에 계산하는 셀프 어텐션 방식으로 동작합니다.
기본