Inference 4장 카드뉴스

AI 모델 운영 분야에서 쓰이는 용어로, 이미 학습이 끝난 모델이 실제 입력을 받아 결과를 계산해 돌려주는 단계를 가리키며, 사용자가 ChatGPT 같은 서비스에서 답을 받는 순간이 모두 추론입니다.

공부는 끝낸 친구가 시험장에 들어가 실제 문제를 풀어 답을 내놓는 그 순간이 바로 추론이에요. 학습이 한 학기 내내 교재를 외우는 단계라면, 추론은 그 친구가 시험지를 받아 한 문제씩 답을 적어 내려가는 단계입니다. ChatGPT에 질문을 보냈을 때 답이 한 글자씩 흘러나오는 그 몇 초 동안 GPU 안에서 일어나는 일이 추론이에요.

000085갤런을 소비한다고 공개했습니다 [2]. 오븐을 1초 켜는 정도지만, 주간 활성 사용자 8억 명이 던지는 수십억 건이 누적되면 OpenAI의 추론 운영비는 GPT-4 학습 비용을 분기마다 추월한다는 분석이 나옵니다. 알트먼은 같은 글에서 "주어진 지능 수준을 쓰는 비용이 12개월마다 약 10배씩 떨어지고 있다"고 밝혔습니다 [2].