Interpretability

Anthropic 인터프리터빌리티 팀은 2024년 5월 「Scaling Monosemanticity」를 공개하고, Claude 3 Sonnet의 중간층 잔차 스트림에 희소 오토인코더(SAE)를 학습시켜 3,400만 개 특징을 추출했습니다 ^[1]. 인간 평가자 기준 약 70%가 해석 가능하다고 분류됐고, "샌프란시스코 금문교", "보안 취약점 코드 패턴", "내적 갈등" 같은 추상 개념까지 특정 특징에 매핑됐습니다 ^[1]. 특정 특징을 인위적으로 활성화하면 모델 출력이 그 방향으로 휘는 특징 조향(feature steering)도 실증돼, 모델 내부에서 개념 단위 편집이 가능하다는 점이 처음으로 대규모로 입증된 사례입니다 ^[1]. 사내 LLM의 편향·환각 디버깅과 정렬 평가에 사용처가 있습니다.

OpenAI는 2024년 6월 「Extracting Concepts from GPT-4」에서 k-희소 오토인코더로 GPT-4의 내부 표현을 1,600만 개 특징으로 분해했다고 공개했습니다 ^[4]. 같은 팀은 앞서 「Language models can explain neurons in language models」(2023)에서 GPT-4가 GPT-2의 뉴런 동작을 자연어로 설명하도록 자동화했고, 1,000개 이상의 뉴런이 0.8 이상의 설명 점수를 받았습니다 ^[5]. 대규모 모델 내부를 사람의 손으로 일일이 분석하기 어려운 문제를, 큰 모델로 작은 모델을 자동 해석하는 방향으로 풀어 가는 흐름의 출발점입니다 ^[5]. 사내 모델의 내부 표현을 자동 라벨링하고 회로를 검색하는 도구 개발 사용처에 쓰입니다.

Anthropic은 2025년 3월 「Circuit Tracing」, 「On the Biology of a Large Language Model」 두 논문을 공개해 Claude 3.5 Haiku에서 10가지 대표 행동의 회로 그래프를 시각화했습니다 ^[7]. 시 작성 시 모델이 운율을 맞출 단어를 미리 정해 두고 문장을 거꾸로 구성한다는 증거와, 환각이 발생할 때 어떤 회로 경로가 활성화되는지 사례별로 추적한 결과가 포함됐습니다 ^[7]. 사후 설명으로는 닿을 수 없었던 "모델이 계획을 세우는지", "거짓말을 의도적으로 만드는지" 같은 질문에 내부 회로 단위 증거로 답할 수 있게 됐고, 환각 디버깅과 정렬 연구를 모델 내부 증거로 진행할 수 있다는 점이 핵심입니다 ^[7]. AI 안전팀·레드팀 운영 도구의 사용처에 쓰입니다.

EU AI Act Article 13은 고위험 AI 시스템 출력의 해석 가능성과 성능 지표·한계·기지 위험 공개를 의무화했고, 투명성 조항은 2026년 8월부터 단계적으로 발효 중입니다 ^[8]. 한국 금융위는 2021년 7월 「금융분야 AI 가이드라인」을 발표하고, 2025년 들어 생성형 AI 확산과 인공지능 기본법 제정 흐름을 반영한 통합 가이드라인 개정 작업을 진행 중입니다 ^[6]. 대출 거절·보험 인수 거절처럼 금융소비자 권리에 직접 영향을 주는 의사결정은 "왜 거절됐는지" 소비자가 이해할 수 있는 언어로 설명되어야 한다고 명시했고, 단순 사후 설명을 넘어 모델 내부 구조 검증까지 요구하는 방향으로 규제 흐름이 강화되고 있습니다 ^[6][8]. 사내 고위험 AI 시스템 인허가·감사 대응 사용처에 쓰입니다.