Latency 4장 카드뉴스

AI 모델 운영 분야에서 쓰이는 용어로, 사용자가 LLM에 질문을 보낸 시점부터 첫 응답 글자가 화면에 뜨기까지 걸리는 시간(보통 ms 단위)을 가리키는 성능 지표입니다.

Latency는 LLM(Large Language Model, 거대 언어 모델)에 질문을 보낸 순간부터 첫 글자가 화면에 뜨기까지 걸리는 시간이에요. 카톡에서 "메시지 보냄"을 누르고 상대 화면에 글자가 뜨기까지 잠깐 도는 점선 같은 구간이라고 보면 됩니다. 보통 밀리초(ms) 단위로 재고, 챗 UI에서는 1초 이내가 "즉시 답한다"고 느끼는 기준선입니다. 같은 모델·같은 질문이어도 인프라와 추론 모드 설정에 따라 0.8초가 될 수도, 13초가 될 수도 있어 운영팀이 모델 선택 다음으로 가장 먼저 확인하는 숫자입니다.

**케이스 1: Anthropic Claude — 챗 UX와 모델별 TTFT 격차** Artificial Analysis 2026년 6월 측정 기준, Anthropic 모델 중 가장 빠른 Claude Haiku 4.5의 TTFT는 0.81초, Sonnet 4(비추론)는 1.06초, Opus 4.7(비추론·고난도)은 1.63초입니다.[6] 같은 Opus 4.8을 적응형 추론·최대 노력으로 돌리