RLHF 4장 카드뉴스

AI 모델 학습 분야에서 쓰이는 Reinforcement Learning from Human Feedback(인간 피드백 기반 강화학습)의 약자로, 사람이 모델 답변 중 더 좋은 쪽을 골라준 기록을 보상으로 삼아 모델 행동을 다듬는 학습 방법입니다.

RLHF는 "사람이 채점을 도와주는 강화학습"이에요. 모델이 같은 질문에 답변 두 개를 만들어 내면, 사람이 "이쪽이 더 좋다"고 골라 줍니다. 모델은 그 선택 기록을 점수표 삼아 다음부터 더 좋아 보이는 쪽으로 답하도록 학습하는 방식입니다. 선생님이 답안 두 개 중 더 좋은 걸 골라주는 채점을 수천 번 반복하면, 학생이 자연스럽게 선생님 취향에 맞춰 답을 쓰게 되는 것과 비슷해요.

케이스 1: OpenAI ChatGPT — RLHF가 상업화의 결정타 OpenAI는 InstructGPT와 같은 RLHF 파이프라인 위에서 ChatGPT를 만들었습니다. [1] 사내 챗봇·고객 응대 봇을 만들 때 "왜 SFT만으로는 부족한가"의 표준 답으로 인용됩니다. [3] 국내 공공·금융처럼 한국어 문맥과 규범이 중요한 도메인에 모델을 도입할 때 참고할 만한 사례입니다.