Inference 4장 카드뉴스

AI 모델 운영 분야에서 쓰이는 용어로, 이미 학습이 끝난 모델이 실제 입력을 받아 결과를 계산해 돌려주는 단계를 가리키며, 사용자가 ChatGPT 같은 서비스에서 답을 받는 순간이 모두 추론입니다.

공부는 끝낸 친구가 시험장에 들어가 실제 문제를 풀어 답을 내놓는 그 순간이 바로 추론이에요. 학습이 한 학기 내내 교재를 외우는 단계라면, 추론은 그 친구가 시험지를 받아 한 문제씩 답을 적어 내려가는 단계입니다. ChatGPT에 질문을 보냈을 때 답이 한 글자씩 흘러나오는 그 몇 초 동안 GPU 안에서 일어나는 일이 추론이에요. 학습은 한 번만 하면 되지만 추론은 사용자가 누를 때마다 다시 일어나기 때문에, 회사 입장에서는 매달 빠져나가는 운영비가 됩니다.

**케이스 1: OpenAI ChatGPT — 응답 1건당 0.34Wh, 주간 사용자 8억 명 누적 부담** 샘 알트먼은 2025년 6월 공식 블로그에서 ChatGPT 평균 1회 응답이 전력 0.34Wh, 물 0.000085갤런을 소비한다고 공개했습니다 [2]. 오븐을 1초 켜는 정도지만, 주간 활성 사용자 8억 명이 던지는 수십억 건이 누적되면 OpenAI의 추론 운영비는 GPT-4 학습