AI Alignment 4장 카드뉴스

AI 활용 분야에서 쓰이는 용어로, 인공지능 시스템이 만든 행동·답변이 사람이 의도한 가치·목표와 일치하도록 학습 시점부터 조정하는 연구·기술 분야를 가리킵니다.

AI 정렬은 인공지능에게 "이렇게 답해 줘"라고 가르친 방향대로 실제 답이 나오는지 맞추는 일이에요. 보고서 양식을 미리 정해 두고 "이 양식 그대로 써 줘"라고 부탁했는데 모델이 자기 마음대로 다른 양식으로 써 오면 정렬이 어긋난 상황입니다. 조별 과제에서 역할 분담표를 만들어 줬는데 팀원이 자기 판단대로 다른 일을 하고 있는 장면과 비슷합니다.

02155 *Training language models to follow instructions with human feedback* 논문에서 사람이 두 응답 중 더 나은 쪽을 고르는 비교 데이터로 보상 모델을 학습시키고, 이를 보상 신호로 모델을 다시 강화학습하는 RLHF 파이프라인을 공개했습니다 [6].