Max Tokens 4장 카드뉴스

AI 활용 분야에서 쓰이는 용어로, LLM API 호출 시 모델이 한 번의 응답에서 생성할 수 있는 최대 토큰 수를 사용자가 직접 지정해 응답 길이·비용·지연 시간을 제어하는 파라미터입니다.

Max Tokens는 "AI가 한 번에 답할 때 글자를 몇 개까지 쓸지" 정해두는 상한선이에요. 토큰(token)은 모델이 글을 잘게 쪼개 다루는 단위인데, 영어는 보통 단어 하나, 한국어는 글자 한두 개가 1토큰 정도예요. 조별 과제 발표를 준비할 때 "발표는 5분 이내, A4 한 장으로 정리"라고 분량을 못 박는 것과 같습니다.

케이스 1: OpenAI API — 비용 상한 통제 OpenAI 도움말은 max_tokens를 "응답 길이를 직접 제어하는 1차 수단"으로 설명합니다 [1]. 한 LLM 비용 최적화 가이드는 "원하는 답 분량에 가깝게 max_tokens를 좁히면 출력 토큰을 50~80% 줄일 수 있다"고 보고합니다 [6].