Parameter 4장 카드뉴스

AI 모델 분야에서 쓰이는 용어로, 학습 단계에서 모델이 데이터를 보고 직접 조정해 저장하는 내부 숫자값으로, 그 갯수가 흔히 "B(빌리언)" 단위로 표시되어 모델 크기를 가늠하는 기준이 됩니다.

파라미터는 모델이 학습 중에 스스로 맞춰 가는 내부 다이얼 같은 숫자예요. 학습 데이터가 들어올 때마다 "이 다이얼을 조금 더 돌리면 답이 가까워진다"는 식으로 조정되고, 학습이 끝난 뒤 남은 다이얼 값들이 모델의 지식이 됩니다. 시험 공부할 때 외운 공식 노트가 시험장에 들어가는 "준비물"인 것처럼, 파라미터는 모델이 채팅창에 들어가기 전에 들고 가는 준비물이에요. 그래서 7B·70B·405B 같은 숫자가 곧 모델의 "공부량"이자 GPU에 올려야 할 짐의 크기를 알려줍니다.

**케이스 1: Microsoft Phi-3 mini — 휴대폰에서 돌아가는 3.8B 모델** Microsoft Research가 2024년 4월 공개한 Phi-3 mini는 3.8B 파라미터로 학습 토큰 3.3조 개를 소화하며, MMLU 벤치마크 정답률 69%·MT-bench 점수 8.38을 기록했습니다 [5]. Mixtral 8x7B나 GPT-3.5에 견줄 만한 성능을 휴대폰에서 돌릴 수