Red Teaming 4장 카드뉴스

AI 활용 분야에서 쓰이는 용어로, 보안 분야에서 빌려온 개념으로 출시 전에 사내·외부 평가자가 일부러 위험한 입력을 던져 LLM의 가드레일과 취약점을 적극적으로 찾아내는 평가 절차를 가리킵니다.

레드 티밍은 AI를 세상에 내보내기 전에 "이 모델을 어떻게든 위험한 답을 하게 만들 수 있나"를 일부러 시험해 보는 절차예요. 원래 사이버보안에서 모의 해커가 회사 시스템을 공격해 약점을 찾던 방식을, 거대 언어 모델 평가에 그대로 옮겨온 개념이에요. 조별 과제 발표 전에 친구한테 "여기 약점 좀 찾아줘" 하고 까다로운 질문을 부탁하는 장면을 떠올리면 가까워요. AI 회사가 출시 직전 가장 많이 쓰는 평가 방법 중 하나라 한 번쯤 알아둘 가치가 있습니다.

**케이스 1: Anthropic Frontier Red Team — 생물학 위험 사전 평가** Anthropic은 2023년 7월 외부 생물보안 전문가들과 6개월간 150시간 이상 모델을 적대적으로 시험해, 모델이 전문가 수준 위험 정보를 생산할 수 있는지 정량 평가했습니다 [1]. 안전 필터가 꺼진 전용 인터페이스에서 탈옥(jailbreak, 안전장치 우회)을 시도하게 한 뒤 발견 패턴을