SFT
에스에프티
인공지능 학습 분야에서 쓰이는 Supervised Fine-Tuning(지도 미세조정)의 약자로, 사전학습을 마친 언어 모델에 사람이 만든 모범 질문·답변 쌍을 추가 학습시켜 지시를 따르게 만드는 사후학습 단계입니다. 원시 텍스트만 학습한 베이스 모델은 문장을 이어 쓸 뿐 지시 수행이 서툽니다. 그래서 SFT로 응답 형식과 태도를 먼저 가르친 뒤 RLHF나 DPO 같은 선호 최적화를 이어 적용하는 것이 표준 절차입니다. 오늘날 챗봇형 AI 대부분이 이 단계를 거쳐 만들어집니다.
쉽게 말하면?
에스에프티(SFT)는 Supervised Fine-Tuning, 즉 지도 미세조정의 약자예요. 책을 많이 읽어 아는 것은 많지만 업무 응대는 서툰 신입에게 모범 문답집을 주고 따라 하게 하는 교육 단계라고 보면 됩니다. 이 과정을 거치면 문장을 이어 쓰기만 하던 모델이 질문에 답하는 비서처럼 바뀝니다.
한 줄로 비유하면?
신입에게 모범 문답집으로 OJT를 진행해 회사 말투와 업무 방식을 익히게 하는 것과 같습니다.
어디에 쓰이나?
케이스 1OpenAI(미국) — 챗GPT의 기초가 된 인스트럭트GPT
OpenAI는 2022년 인스트럭트GPT 논문에서 SFT와 인간 피드백 강화학습을 결합한 사후학습 절차를 제시했습니다 [1]. 라벨러가 작성한 모범 답변으로 SFT를 먼저 수행하고 선호 데이터를 추가 학습했습니다 [1]. 이 절차는 이후 챗GPT 계열 모델의 표준이 됐습니다.
도입효과: 평가자 선호도에서 13억 파라미터 인스트럭트GPT가 약 100배 큰 1,750억 GPT-3보다 선호됨(논문 기준) [1]
케이스 2LG AI연구원(한국) — 엑사원 3.0의 2단계 사후학습
LG AI연구원은 2024년 공개한 엑사원 3.0 기술 보고서에서 SFT로 새 과제 일반화 능력을 기르고 DPO로 사람 선호에 맞추는 2단계 사후학습을 명시했습니다 [2][3]. 7.8B 모델을 8조 토큰으로 사전학습한 뒤 이 절차를 적용했습니다 [3]. 국내 모델 기술 보고서에서 SFT가 표준 공정으로 쓰인 사례입니다.
도입효과: 한국어 벤치마크 KoBEST 평균 74.1로 비교군 1위, 한국어 멀티턴 LogicKor 8.77로 최고 점수(보고서 기준) [3]
케이스 3OpenAI 개발자 플랫폼(미국) — SFT·DPO·RFT 선택 가이드
OpenAI는 공식 쿡북에서 파인튜닝 기법을 SFT, DPO, 강화 파인튜닝(RFT)으로 구분하고 선택 기준을 안내합니다 [4]. 형식·말투·규칙 준수처럼 정답이 명확한 과제에는 SFT를 먼저 검토하라고 권합니다 [4]. 기업이 자사 데이터로 모델을 조정할 때의 출발점 역할을 합니다.
도입효과: 정답이 명확한 과제는 SFT, 선호 비교가 관건인 과제는 DPO로 구분하는 선택 기준 제시(공식 쿡북 기준) [4]
케이스 4Hugging Face(미국) — 오픈소스 표준 구현 TRL
허깅페이스는 TRL 라이브러리의 SFTTrainer로 SFT 구현을 표준화했습니다 [5]. 공개 모델에 자체 데이터셋을 학습시키는 과정을 트레이너 API로 제공해 연구와 기업 실무에서 널리 쓰입니다 [5]. 오픈소스 생태계에서 SFT는 모델 커스터마이징의 기본기가 됐습니다.
도입효과: 대화형·인스트럭션형 데이터셋 포맷 표준화, 트레이너 API 제공으로 구현 진입장벽 완화(공식 문서 기준) [5]
주의할 점은?
오늘 바로 해보기
01. 쓰고 있는 챗봇이 왜 지시를 잘 따르는지 확인해 봅니다. 베이스 모델과 인스트럭트 모델의 차이가 SFT에서 갈립니다 [1].
02. 사내 FAQ 10개를 질문·모범답변 쌍으로 정리해 봅니다. 이것이 SFT 데이터셋의 최소 단위입니다.
03. OpenAI 쿡북의 SFT·DPO 선택 기준을 읽고 맡길 과제가 어느 쪽인지 판별합니다 [4].
04. 개발자라면 허깅페이스 TRL의 SFTTrainer 예제로 소형 공개 모델을 미세조정해 봅니다 [5].
05. 파인튜닝 전에 프롬프트 개선과 RAG로 충분한지 먼저 검토합니다. SFT는 데이터 준비 비용이 드는 선택지입니다.
한계와 진화
한계는 데이터 품질 의존입니다. 모범 답변의 수준이 곧 모델의 상한이 되고, 잘못된 예시는 그대로 흡수됩니다. 학습 데이터에 없는 상황에서는 성능이 보장되지 않으며, 미세조정 과정에서 기존 능력이 퇴화하는 망각 문제도 관리해야 합니다. 그래서 SFT 단독보다 선호 최적화·평가와 묶은 파이프라인 설계가 중요합니다.
진화는 절차의 세분화입니다. 사람 선호를 보상 모델 없이 직접 학습하는 DPO, 채점 기준으로 강화학습하는 RFT처럼 SFT 이후 단계가 다양해지고 있습니다 [4]. 국내외 모델 기술 보고서가 사후학습 절차를 공개하면서, SFT는 연구실 용어를 넘어 모델 도입 검토 실무에서 성능표만큼 자주 만나는 항목이 되고 있습니다.
참고 자료
- Training language models to follow instructions with human feedback — 논문·OpenAI(arXiv)·2022 — https://arxiv.org/abs/2203.02155
- EXAONE 3.0 7.8B Instruction Tuned Language Model — 논문·LG AI Research(arXiv)·2024 — https://arxiv.org/abs/2408.03541
- LG AI Research Open-Sources EXAONE 3.0 — 기술 보도·MarkTechPost·2024 — https://www.marktechpost.com/2024/09/08/lg-ai-research-open-sources-exaone-3-0-a-7-8b-bilingual-language-model-excelling-in-english-and-korean-with-top-performance-in-real-world-applications-and-complex-reasoning/
- Fine-Tuning Techniques — Choosing Between SFT, DPO, and RFT — 공식 쿡북·OpenAI·2026 접속 — https://developers.openai.com/cookbook/examples/fine_tuning_direct_preference_optimization_guide
- SFT Trainer — 공식 문서·Hugging Face TRL·상시 갱신 — https://huggingface.co/docs/trl/sft_trainer
대표 출처
논문 (2022) · OpenAI(Ouyang 외), Training language models to follow instructions with human feedback이 페이지에 대한 의견을 남겨주세요
여러분의 의견은 다음 갱신에 반영됩니다.