4건
Pre-training
사전학습
AI 모델 학습 분야에서 쓰이는 용어로, LLM이 대량의 웹·책·코드 텍스트를 미리 읽으며 단어 사이의 통계 관계를 익히는 첫 번째 학습 단계로, 모델의 기초 언어 능력이 만들어지는 과정입니다.
기본
SFT
에스에프티
인공지능 학습 분야에서 쓰이는 Supervised Fine-Tuning(지도 미세조정)의 약자로, 사전학습을 마친 언어 모델에 사람이 만든 모범 질문·답변 쌍을 추가 학습시켜 지시를 따르게 만드는 사후학습 단계입니다. 원시 텍스트만 학습한 베이스 모델은 문장을 이어 쓸 뿐 지시 수행이 서툽니다. 그래서 SFT로 응답 형식과 태도를 먼저 가르친 뒤 RLHF나 DPO 같은 선호 최적화를 이어 적용하는 것이 표준 절차입니다. 오늘날 챗봇형 AI 대부분이 이 단계를 거쳐 만들어집니다.
기본
Foundation Model
파운데이션 모델
대규모 데이터로 사전학습한 뒤 미세조정 등으로 다양한 하위 작업에 적응시켜 쓰는 범용 AI 모델입니다. 2021년 8월 스탠퍼드대 CRFM 연구진이 보고서 'On the Opportunities and Risks of Foundation Models'에서 개념을 정립했고, BERT·GPT-3·CLIP을 대표 사례로 들었습니다. 하나의 모델이 챗봇·번역·코딩 같은 여러 응용의 공통 기반이 된다는 뜻에서 '기반 모델'로 번역됩니다. EU AI법은 이 계열을 범용 AI(GPAI) 모델로 규정하고, 학습 연산량 10^25 FLOP을 넘으면 시스템적 위험 모델로 추정해 추가 의무를 부과합니다.
기본
LoRA
로라
모델 미세조정 분야에서 쓰이는 Low-Rank Adaptation(저차원 적응)의 약자로, 사전학습된 가중치는 그대로 얼리고 각 층에 작은 저차원 행렬만 추가로 학습시키는 파라미터 효율적 미세조정 기법입니다. 전체 가중치를 다시 학습하지 않아 학습 비용과 저장 용량이 크게 줄어듭니다. 학습이 끝난 저차원 행렬은 원래 가중치에 합칠 수 있어 추론 속도도 그대로입니다. 2021년 마이크로소프트 연구진이 제안했고, 지금은 오픈소스 모델을 값싸게 특화시키는 표준 방법으로 쓰입니다.
기본