7건
HNSW
에이치엔에스더블유
벡터 검색 분야에서 쓰이는 Hierarchical Navigable Small World(계층적 탐색 가능 소세계 그래프)의 약자로, 근사 최근접 이웃(ANN) 탐색에 쓰는 그래프 인덱스입니다. 벡터를 여러 층의 근접 그래프로 쌓고 위층에서 탐색 시작점을 좁혀 내려가는 구조이며, 원 논문은 로그 수준의 복잡도 확장을 보고했습니다 [1]. 정확도와 속도의 균형은 M, efConstruction, efSearch 값으로 조절합니다 [1]. 그래프와 벡터를 메모리에 올려 두는 방식이라 메모리 사용량이 큽니다 [7].
데이터·DB
KV Cache
케이브이 캐시
LLM 추론 분야에서 쓰이는 Key-Value Cache(키-값 캐시)의 약자로, 언어 모델이 답을 생성할 때 앞 토큰들의 어텐션 계산 결과인 키와 값을 GPU 메모리에 저장해 두고 재사용하는 기법입니다. 매 토큰마다 전체 문맥을 다시 계산하는 낭비를 없애 생성 속도를 높입니다. 대신 문맥이 길어질수록 캐시가 메모리를 차지해, LLM 서빙 비용과 컨텍스트 길이 한계를 결정하는 핵심 변수가 됩니다. API 제공사의 프롬프트 캐싱 할인은 이 캐시를 재사용하는 상용화 형태입니다.
개발
HBM
에이치비엠
메모리 반도체 분야에서 쓰이는 High Bandwidth Memory(고대역폭 메모리)의 약자로, D램 칩을 수직으로 쌓고 실리콘 관통 전극(TSV)으로 연결해 프로세서와 데이터를 초광폭 통로로 주고받는 메모리입니다. 국제 표준화 기구 JEDEC이 규격을 정하며, 2025년 4월 확정된 HBM4 표준은 2,048비트 인터페이스로 스택당 최대 2TB/s 대역폭을 냅니다. LLM 추론 속도가 메모리 대역폭에 좌우되면서 AI 가속기의 핵심 부품이 됐습니다.
AI 트렌드
LoRA
로라
모델 미세조정 분야에서 쓰이는 Low-Rank Adaptation(저차원 적응)의 약자로, 사전학습된 가중치는 그대로 얼리고 각 층에 작은 저차원 행렬만 추가로 학습시키는 파라미터 효율적 미세조정 기법입니다. 전체 가중치를 다시 학습하지 않아 학습 비용과 저장 용량이 크게 줄어듭니다. 학습이 끝난 저차원 행렬은 원래 가중치에 합칠 수 있어 추론 속도도 그대로입니다. 2021년 마이크로소프트 연구진이 제안했고, 지금은 오픈소스 모델을 값싸게 특화시키는 표준 방법으로 쓰입니다.
기본
Speculative Decoding
스페큘러티브 디코딩
작고 빠른 '초안(draft) 모델'이 다음 토큰 여러 개를 먼저 제안하면, 크고 정확한 본 모델이 이를 한 번에 검증해 맞은 부분까지 통째로 채택하는 추론 가속 기법입니다. 토큰을 하나씩 순서대로 생성하던 과정을 병렬 검증으로 바꿔 속도를 높입니다. 틀린 토큰이 나온 지점부터 본 모델이 다시 이어 씁니다. 최종 출력은 본 모델이 혼자 생성한 것과 동일하게 유지되는 것이 특징입니다. 2022년 구글 연구진이 정리했습니다.
기본
Claude Haiku 4.5
클로드 하이쿠
AI 모델 분야에서 Anthropic이 공개한 Claude 4 계열 경량 라인으로, 응답 속도와 토큰 단가를 최소화해 대규모 처리·실시간 응답 시나리오에 쓰이는 LLM(Large Language Model, 거대 언어 모델)입니다.
모델·서비스
클로드 소네트 4.6
Claude Sonnet 4.6
AI 모델 분야에서 Anthropic이 2026년에 공개한 Claude 4 계열 중급 라인으로, 속도와 비용 균형을 맞춰 일상적인 채팅·코딩·문서 작업에 폭넓게 쓰이는 LLM(Large Language Model, 거대 언어 모델)입니다.
모델·서비스