5건
CAC
씨에이씨
Customer Acquisition Cost의 약자로, 신규 고객 1명을 얻기 위해 들어가는 평균 비용을 의미하며 광고비·인건비를 신규 가입자 수로 나누어 계산하는 비즈니스 효율성의 핵심 지표입니다.
비즈니스·마케팅
Semantic Caching
시맨틱 캐싱
Semantic Caching은 글자가 똑같은 질문이 아니라 의미가 비슷한 질문까지 이전 답변을 재사용하는 캐시 방식입니다. 질문을 임베딩 벡터로 바꿔 저장해 두고, 새 질문이 들어오면 벡터 거리로 가장 가까운 항목을 찾아 기준값 안에 들면 저장된 답을 그대로 돌려줍니다. LLM 호출을 건너뛰므로 토큰 비용과 응답 시간이 함께 줄어듭니다. 대신 기준값을 느슨하게 잡으면 엉뚱한 답이 나가므로, 적중률과 정확도의 균형점을 찾는 일이 핵심입니다.
데이터·DB
KV Cache
케이브이 캐시
LLM 추론 분야에서 쓰이는 Key-Value Cache(키-값 캐시)의 약자로, 언어 모델이 답을 생성할 때 앞 토큰들의 어텐션 계산 결과인 키와 값을 GPU 메모리에 저장해 두고 재사용하는 기법입니다. 매 토큰마다 전체 문맥을 다시 계산하는 낭비를 없애 생성 속도를 높입니다. 대신 문맥이 길어질수록 캐시가 메모리를 차지해, LLM 서빙 비용과 컨텍스트 길이 한계를 결정하는 핵심 변수가 됩니다. API 제공사의 프롬프트 캐싱 할인은 이 캐시를 재사용하는 상용화 형태입니다.
개발
Prompt Caching
프롬프트 캐싱
AI 활용 분야에서 Anthropic이 2024년 8월에 공개한 API 기능으로, 같은 시스템 프롬프트나 자료를 반복해서 보낼 때 캐싱해 두고 재사용하여 비용과 지연 시간을 함께 줄이는 기술입니다.
AI 트렌드
LTV
엘티브이
Lifetime Value의 약자로, 한 고객이 서비스 이용 전체 기간 동안 회사에 가져다 주는 총 매출을 의미하며 CAC와 함께 사업 건강도를 평가하는 가장 중요한 지표 중 하나입니다.
비즈니스·마케팅