Training 4장 카드뉴스

AI 모델 분야에서 쓰이는 용어로, 인공지능 모델이 데이터를 입력받아 예측 오차를 줄이는 방향으로 내부 가중치를 반복해서 조정하는 학습 과정 전반을 가리키는 일반 표현입니다.

학습은 모델이 데이터를 보고 답을 맞히려 시도한 다음, 틀린 만큼 내부 숫자(가중치)를 조금씩 고쳐 가는 반복 작업이에요. 마치 모의고사 채점지를 받아 들고 틀린 문제 옆에 빨간 펜으로 표시한 뒤, 다음 시험에서 같은 실수를 안 하도록 풀이법을 조금씩 바꿔 가는 학생과 비슷합니다. 이 작업이 수조 번 반복되면 GPT나 Claude 같은 모델이 만들어지고, 한 번 끝나면 그 가중치는 사용자가 질문할 때마다 같은 상태로 유지돼요. 학습이 한 학기 전체 공부라면, 추론은 그 공부를 끝낸 학생이 실제 시험을 보는 한 시간입니다.

**케이스 1: Meta Llama 3.1 405B — H100 16,384장 클러스터에서 15조 토큰 사전학습** Meta는 2024년 7월 공식 발표에서 Llama 3.1 405B를 H100 80GB 16,384장 규모 클러스터로 약 15조 토큰에 대해 사전학습했다고 보고했습니다 [4]. 동기식 분산 학습 특성상 GPU 1장만 멈춰도 전체 학습이 재시작되는데, 후속 보고서에 따르면 평균