Prompt Caching 4장 카드뉴스

AI 활용 분야에서 Anthropic이 2024년 8월에 공개한 API 기능으로, 같은 시스템 프롬프트나 자료를 반복해서 보낼 때 캐싱해 두고 재사용하여 비용과 지연 시간을 함께 줄이는 기술입니다.

Prompt Caching은 같은 자료를 매번 다시 읽지 말고 한 번 읽어 두고 두 번째부터는 그대로 꺼내 쓰자는 기능이에요. 예를 들어 회사 매뉴얼 50쪽을 시스템 프롬프트에 깔아 두고 '이 문서에서 휴가 규정 알려 줘'라고 묻는다면, 매뉴얼 50쪽은 매번 같으니까 LLM 서버가 그 처리 결과를 기억해 두는 거예요. 두 번째 질문부터는 매뉴얼 부분 비용이 10분의 1로 떨어지고 응답도 훨씬 빨라집니다.

4초 Anthropic이 Prompt Caching 출시 공식 블로그에 공개한 자체 벤치마크입니다[1]. 4초로 79% 단축되고, 캐시가 적중한 입력 토큰 단가는 기본가의 10% 수준까지 떨어집니다[1]. 사내 매뉴얼·법령집·재무보고서처럼 장문 자료에 반복 질의하는 RAG 워크플로에 그대로 적용됩니다.