AI for Everyone
보안·윤리

Guardrails

가드레일

보안·윤리·거버넌스 분야에서 쓰이는 용어로, 모델을 다시 학습시키지 않고 입력과 출력을 실행 시점에 통제해 위험한 응답을 걸러내는 외부 안전장치입니다. 유해 주제 회피, 정해진 대화 흐름 준수, 특정 형식 강제 같은 규칙을 모델과 별개로 설정합니다. 구현은 크게 두 갈래입니다. 규칙과 대화 흐름을 코드로 짜두는 프로그래머블 레일 방식과, 입력과 출력을 안전·위험으로 분류하는 모델 기반 세이프가드 방식으로 나뉩니다. 학습 단계의 정렬과 달리 운영 중에 언제든 고쳐 쓸 수 있는 점이 특징입니다.

쉽게 말하면?

가드레일은 AI가 하면 안 되는 말을 하지 않도록 옆에 세워두는 난간 같은 장치입니다. 모델 자체를 뜯어고치지 않고, 들어오는 질문과 나가는 답을 실시간으로 검사해 위험한 내용을 막아요. 조별 과제 제출 전에 표절·비속어·형식을 점검하는 최종 검토 체크리스트를 떠올리면 가깝습니다. 예를 들어 회사 챗봇이 욕설 요청을 받으면, 모델에 닿기 전에 입력 가드가 걸러내고 답이 나갈 때 출력 가드가 한 번 더 확인해요. 그래서 서비스를 열기 전 안전 요건을 맞추는 표준 장치로 자리 잡았습니다.

한 줄로 비유하면?

납품 전 계약 위반 문구를 걸러내는 최종 검수 게이트입니다.

어디에 쓰이나?

케이스 1Meta — Llama Guard로 입출력 동시 분류

Meta는 2023년 12월 Llama Guard를 공개했습니다 [2]. Llama2-7B를 안전 분류용으로 튜닝해, 사용자 프롬프트와 모델 응답을 각각 안전·위험으로 나눕니다 [2]. 논문은 OpenAI Moderation 데이터셋에서 해당 데이터로 학습하지 않고도 기존 상용 도구에 필적하는 성능을 보고했습니다 [2]. 사내 챗봇을 열 때 입력과 출력 양쪽에 세우는 분류형 세이프가드의 기준 사례로 인용됩니다.
도입효과: OpenAI Moderation 평가 AUPRC 0.847 (제로샷, OpenAI 자체 API 0.856에 근접) [2]

케이스 2NVIDIA — NeMo Guardrails 엔터프라이즈 도입

NVIDIA는 오픈소스 툴킷 NeMo Guardrails를 제공합니다 [1]. 2025년 1월 공식 블로그는 Amdocs·Cerence AI·Lowe's가 이를 도입했다고 밝혔습니다 [4]. 대화 범위를 강제하고 맥락에 맞는 응답을 유지하는 데 썼다는 설명입니다 [4]. 규칙과 대화 흐름을 코드로 짜두는 프로그래머블 레일 방식의 대표 구현입니다.
도입효과: 도입 기업 공개(Amdocs·Cerence AI·Lowe's) — 대화 경계 강제·맥락 적합 응답 확보 (정량 수치 비공개) [4]

케이스 3네이버 — AI Safety Framework(ASF) [한국]

네이버는 2024년 8월 자체 AI 안전 프레임워크 ASF를 공개했습니다 [5]. AI 개발부터 배포까지 위험을 인식·평가·관리하는 거버넌스 체계입니다 [5]. 통제력 상실 위험과 오용 위험 두 유형을 정의하고, 프런티어 AI는 3개월 주기 또는 역량이 6배 커질 때 평가한다고 밝혔습니다 [5]. 한국어 안전 데이터셋 SQuARe·KoSBi·KoBBQ도 함께 구축했습니다 [5].
도입효과: AI 위험 평가 척도·매트릭스 운용 + 한국어 안전 데이터셋 3종 구축 (정량 수치 비공개) [5]

케이스 4KT — SafetyGuard 실시간 가드레일 [한국]

KT는 책임 AI 기술 보고서에서 자체 가드레일 SafetyGuard를 공개했습니다 [6]. 악성 입력을 막는 Prompt Guard와 출력을 검사하는 Content Guard로 이중 방어를 구성합니다 [6]. Content Guard는 응답을 안전·위험 이진으로 분류하고 심각도를 함께 매깁니다 [6]. 실시간 서비스 환경에서 입력과 출력을 함께 통제하려는 국내 사례입니다.
도입효과: SafetyGuard 벤치마크 F1 91.62%(오프라인)·92.52%(스트리밍) (Content 이진 가드 기준) [6]

주의할 점은?

오늘 바로 해보기
01. 자사 챗봇에 넣지 말아야 할 주제 다섯 개를 표로 적어 봅니다 (예: 의료 진단, 법률 자문, 경쟁사 비방, 개인정보 요구, 욕설 생성).
02. NeMo Guardrails 공식 문서의 예제 레일 하나를 열어, 입력 레일과 출력 레일이 어디서 갈리는지 표시해 봅니다 [1].
03. 같은 위험 질문을 사내 모델에 두세 번 던지고, 지금 무엇이 걸러지고 무엇이 통과하는지 그대로 기록합니다.
04. Llama Guard 논문의 안전 분류 항목표를 자사 금지 주제와 나란히 놓고 빠진 항목을 채웁니다 [2].
05. 회피 공격 사례 한 건을 골라, 문자 삽입 같은 우회가 통하는지 팀 회의 안건으로 올립니다 [7].

가드레일은 완벽한 방패가 아닙니다. 2025년 회피 공격 실증 연구는 문자 삽입과 적대적 기법으로 상용 방어체계 여섯 개를 시험했고, 일부 사례에서 최대 100%의 우회 성공률을 보고했습니다 [7]. 시험 대상에는 Microsoft Azure Prompt Shield와 Meta Prompt Guard도 포함됐습니다 [7]. 2025년 SoK 논문은 가드레일 지형이 통일된 분류나 평가 틀 없이 파편화돼 있다고 지적했습니다 [8]. 이 논문은 안전·효율·유용성 세 축의 트레이드오프를 제시했는데, 안전을 높이면 응답 속도나 유용성이 깎일 수 있다는 뜻입니다 [8]. 오픈소스 프레임워크 Guardrails AI는 이런 위험을 validators라는 검증 단위로 잘게 나눠 측정하지만, 어떤 위험을 어디까지 막을지는 여전히 사람이 정해야 합니다 [3]. 프로그래머블 레일도 모델과 독립적이라는 장점 뒤에, 규칙을 사람이 직접 정의하고 유지해야 하는 부담을 남깁니다 [1].

진화 방향은 두 갈래입니다.

  1. 에이전트용 배포형 마이크로서비스로 옮겨가고 있습니다. NVIDIA는 NeMo Guardrails를 NIM 마이크로서비스 형태로 제공하며, 에이전틱 AI를 보호하는 용도로 위치를 잡았습니다 [4].
  2. 규칙 기반에서 모델 기반·실시간 스트리밍·다국어 세이프가드로 이동하고 있습니다 [2][6]. Meta Llama Guard가 분류 모델로, KT SafetyGuard가 스트리밍 F1 92.52%로 이 흐름을 보여줍니다 [2][6]. 국내에서는 네이버가 거버넌스 프레임워크를, KT가 실시간 가드레일을 각각 공개하며 두 접근을 함께 밀고 있습니다 [5][6]. 현재 시점에서는 규칙형과 모델형을 함께 얹는 혼합 구성이 늘고 있습니다.

참고 자료

  1. NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails — 학술 논문·arXiv(NVIDIA)·2023 — https://arxiv.org/abs/2310.10501
  2. Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations — 학술 논문·arXiv(Meta AI)·2023 — https://arxiv.org/abs/2312.06674
  3. Guardrails AI — 오픈소스 프레임워크 공식 문서·GitHub·2023~ — https://github.com/guardrails-ai/guardrails
  4. NVIDIA Releases NIM Microservices to Safeguard Applications for Agentic AI — 공식 블로그·NVIDIA·2025 — https://blogs.nvidia.com/blog/nemo-guardrails-nim-microservices/
  5. 네이버 AI Safety Framework(ASF) — 공식 기술블로그·NAVER Cloud·2024 — https://clova.ai/tech-blog/ko-naver-ai-safety-framework-asf
  6. Responsible AI Technical Report(SafetyGuard) — 기술 보고서·arXiv(KT)·2025 — https://arxiv.org/abs/2509.20057
  7. Bypassing LLM Guardrails: An Empirical Analysis of Evasion Attacks — 학술 논문·arXiv·2025 — https://arxiv.org/abs/2504.11168
  8. SoK: Evaluating Jailbreak Guardrails for Large Language Models — 학술 논문·arXiv·2025 — https://arxiv.org/abs/2506.10597

대표 출처

NVIDIA·Meta·네이버·KT 공식 (2023~2025) — NeMo Guardrails·Llama Guard·ASF·SafetyGuard
카드뉴스로 공유하기 다른 AI 용어 보기