Semantic Caching 4장 카드뉴스

Semantic Caching은 글자가 똑같은 질문이 아니라 의미가 비슷한 질문까지 이전 답변을 재사용하는 캐시 방식입니다. 질문을 임베딩 벡터로 바꿔 저장해 두고, 새 질문이 들어오면 벡터 거리로 가장 가까운 항목을 찾아 기준값 안에 들면 저장된 답을 그대로 돌려줍니다. LLM 호출을 건너뛰므로 토큰 비용과 응답 시간이 함께 줄어듭니다. 대신 기준값을 느슨하게 잡으면 엉뚱한 답이 나가므로, 적중률과 정확도의 균형점을 찾는 일이 핵심입니다.

캐시는 한 번 계산한 결과를 저장해 두고 다시 쓰는 창고입니다. 보통 캐시는 질문 글자가 한 글자만 달라도 새 질문으로 봅니다. 시맨틱 캐싱은 환불 어떻게 해요와 환불 신청 방법 알려줘를 같은 질문으로 알아봐요. 자주 묻는 질문이 몰리는 고객상담이나 사내 문의 봇에 붙이면 효과가 큽니다.

케이스 1: AWS — ElastiCache와 Bedrock 조합 벤치마크 AWS는 실제 챗봇 질의 63,796건으로 시맨틱 캐시를 측정했습니다. 50까지 낮추며 적중률·정확도·비용·지연을 함께 기록했습니다. 75를 제시합니다. 2 기반 의미 유사도 검색을 붙였습니다. 이미 답한 질문과 의미가 가까운 질의가 들어오면 LLM을 다시 부르지 않고 저장된 답을 돌려줍니다.