RLAIF 4장 카드뉴스

AI 모델 학습 분야에서 쓰이는 RLAIF(Reinforcement Learning from AI Feedback, 인공지능 피드백 기반 강화학습)의 약자로, 사람 대신 다른 LLM이 답안 두 개 중 더 나은 쪽을 골라 보상을 만들어 모델을 학습시키는 방법입니다.

RLAIF는 "사람이 채점하던 자리에 AI를 앉힌 강화학습"이에요. 모델이 같은 질문에 답변 두 개를 만들면, 사람 라벨러 대신 잘 정렬된 다른 LLM이 "이쪽이 더 좋다"를 골라 점수표를 만들고, 그 점수표로 모델을 다시 학습시킵니다. 조별 과제에서 매번 교수님께 첨삭받는 대신, 선배 조교가 빨간펜을 잡고 답안 두 개 중 나은 쪽을 골라 주는 채점 방식과 비슷해요. ChatGPT를 가능하게 한 RLHF가 사람 라벨링 비용이 비싸 확장이 어렵다는 문제를 풀려고 등장했고, Claude 같은 상용 모델 학습에 실제로 쓰이고 있어 AI 정렬을 이해하려면 RLHF와 같이 알아 둘 단어입니다.

**케이스 1: Anthropic Claude — Constitutional AI 학습 파이프라인** Anthropic은 2022년 12월 Constitutional AI 논문을 공개하며 사람 라벨러 없이 무해한 모델을 학습시키는 방법을 정리했습니다 [2]. SFT 단계에서 모델이 자기 응답을 헌법 원칙에 따라 비판·재작성한 뒤 그 결과로 파인튜닝하고, RL 단계에서는 AI 평가자가 두 응답