Token Cost 4장 카드뉴스

AI 활용 분야에서 쓰이는 용어로, LLM API 호출 비용이 입력·출력 토큰 수 단위로 청구되는 구조와 그 단가를 일컫는 표현으로, 캐싱·배치·모델 선택으로 절감할 수 있습니다.

Token Cost는 LLM(Large Language Model, 거대 언어 모델) API를 부를 때 "문장을 잘게 쪼갠 토큰 수만큼 돈이 빠져나가는" 종량제 청구 구조예요. 같은 호출이라도 모델이 읽은 입력 토큰과 모델이 적어낸 출력 토큰의 단가가 다르고, 출력이 보통 3~5배 비쌉니다. 인쇄소에 사양서를 맡길 때 "이번 견적은 입력한 원고 분량보다 인쇄해 나온 페이지가 더 큰 비용을 만든다"는 감각과 같아요.

케이스 1: 대규모 챗봇 운영 — 입력 1 : 출력 3 비율의 청구 구조 일반적인 챗봇은 시스템 프롬프트·검색 문맥·과거 대화로 입력이 길고, 답변은 그보다 짧습니다. 5로 평균 약 3,700 토큰짜리 상담 대화 1만 건을 처리할 때 총 비용을 약 $37로 계산해 공개했습니다 [1]. 7($5 / $25)로 돌리면 약 5배가 됩니다.