토큰 4장 카드뉴스

AI 기초 분야에서 쓰이는 용어로, LLM이 사람의 문장을 처리할 때 사용하는 최소 단위로, 단어보다 작은 음절이나 조각으로 잘려 모델 입력·출력 길이와 비용을 계산하는 기준이 됩니다.

토큰은 AI 모델이 글을 잘게 잘라서 읽는 "조각 단위"예요. 친구에게 노션 문서를 공유할 때 페이지 수로 분량을 가늠하듯, AI 입장에서는 토큰 수가 곧 분량이자 청구 단위가 됩니다. 영어 "hello"는 1토큰으로 깔끔하게 들어가지만, 한국어 "안녕하세요"는 모델에 따라 5~8토큰으로 잘게 쪼개져서 같은 의미라도 비용이 더 나올 수 있어요.

[6] 사내 문서 요약 봇을 만든다고 가정하면, 한 번 호출에 평균 3,000토큰을 쓰는 워크플로의 월 10만 회 호출 비용은 단순 계산만으로도 약 $750~$3,000 구간에 들어옵니다. 견적서를 짤 때 "사용자 수"가 아니라 "예상 토큰량"으로 환산해야 실제 청구서와 맞물립니다.