Prompt Caching 4장 카드뉴스

AI 활용 분야에서 Anthropic이 2024년 8월에 공개한 API 기능으로, 같은 시스템 프롬프트나 자료를 반복해서 보낼 때 캐싱해 두고 재사용하여 비용과 지연 시간을 함께 줄이는 기술입니다.

Prompt Caching은 같은 자료를 매번 다시 읽지 말고 한 번 읽어 두고 두 번째부터는 그대로 꺼내 쓰자는 기능이에요. 예를 들어 회사 매뉴얼 50쪽을 시스템 프롬프트에 깔아 두고 '이 문서에서 휴가 규정 알려 줘'라고 묻는다면, 매뉴얼 50쪽은 매번 같으니까 LLM 서버가 그 처리 결과를 기억해 두는 거예요. 두 번째 질문부터는 매뉴얼 부분 비용이 10분의 1로 떨어지고 응답도 훨씬 빨라집니다. 스터디 노트를 매번 처음부터 정리하지 않고 지난주 정리본을 그대로 쓰는 것과 비슷해요.

**케이스 1: Anthropic — 10만 토큰 책 Q&A에서 응답 11.5초 → 2.4초** Anthropic이 Prompt Caching 출시 공식 블로그에 공개한 자체 벤치마크입니다[1]. 10만 토큰 분량 책 한 권을 캐시 prefix로 올려두고 질문을 반복하면 첫 토큰까지 걸리는 시간(TTFT)이 11.5초에서 2.4초로 79% 단축되고, 캐시가 적중한 입력 토큰 단가는 기본가의