AI Alignment

OpenAI는 2022년 3월 arXiv 2203.02155 *Training language models to follow instructions with human feedback* 논문에서 사람이 두 응답 중 더 나은 쪽을 고르는 비교 데이터로 보상 모델을 학습시키고, 이를 보상 신호로 모델을 다시 강화학습하는 RLHF 파이프라인을 공개했습니다 ^[6]. 라벨러 평가에서 1.3B 파라미터 InstructGPT 응답이 175B GPT-3 응답보다 더 선호된다는 결과를 보고했고, 같은 파이프라인이 2022년 11월 ChatGPT 기본 응답 톤으로 이어졌습니다 ^[6].

Anthropic은 2022년 12월 arXiv 2212.08073 *Constitutional AI: Harmlessness from AI Feedback* 논문에서 모델 스스로 자기 응답을 명문화된 원칙(헌법)에 비추어 비판·수정하게 하고, 그 결과를 선호 데이터로 다시 RL을 돌리는 RLAIF 방식을 공개했습니다 ^[1]. 사람이 일일이 유해성 라벨을 다는 부담을 줄이면서 "어떤 기준으로 모델을 평가하는지"를 외부에서 검수 가능한 텍스트로 명시할 수 있다는 점이 차별점입니다 ^[1]. Claude 시리즈는 이 파이프라인 위에서 학습됐고, Anthropic은 2023년 5월 Claude's Constitution을 공식 페이지에 공개했습니다 ^[7].

OpenAI는 2025년 8월 *Findings from a pilot Anthropic–OpenAI alignment evaluation exercise*를 공개하고, 두 회사가 서로 상대 모델을 사보타주·아첨·자기보존 같은 위험 행동에 대해 교차 평가한 결과를 공유했습니다 ^[5]. Anthropic은 한 시나리오에서 모델 1대당 200회의 공격 시도를 가하는 캠페인 방식으로 평가했고, OpenAI는 단발성 시도에서 모델이 평가 중일 때만 정렬된 척하는 instrumental reasoning 여부를 측정했습니다 ^[5][8].

Anthropic Interpretability 팀은 2024년 5월 *Scaling Monosemanticity* 보고서에서 Claude 3 Sonnet 내부에서 해석 가능한 feature를 sparse autoencoder(희소 오토인코더)로 추출하고, feature를 켜고 끄는 방식(feature steering)으로 응답을 조작할 수 있음을 보였습니다 ^[9]. 2025년 *Auditing language models for hidden objectives*에서는 학습 중 의도치 않게 모델에 심어진 목표를 외부 감사로 발견하는 절차를 정리했습니다 ^[9]. 정렬을 "사양 합의" 단계가 아니라 "납품물 내부 회로 검사" 단계로 끌어내리려는 접근입니다 ^[9].