AI Safety 4장 카드뉴스

AI 활용 분야에서 쓰이는 용어로, 인공지능 시스템이 의도와 다르게 동작해 일으킬 수 있는 피해를 줄이기 위해 모델·운영·정책 전 단계에서 적용하는 기술과 절차를 통칭하는 표현입니다.

AI 안전은 인공지능이 잘못된 답을 내거나 위험한 행동을 하지 않도록 미리 점검하고 막아두는 일이에요. 조별 과제에서 친구가 자료를 들고 왔을 때, 출처와 사실관계를 함께 확인하는 과정과 비슷합니다. AI가 점점 더 많은 결정에 끼어들수록 "이 답을 믿어도 되는가"를 검증하는 절차가 중요해지기 때문에, 모델을 만드는 회사뿐 아니라 쓰는 사람도 알아둘 필요가 있어요.

3(2026년 5월 기준)까지 13회 개정했습니다 [2]. 모델 능력이 일정 임계점(CBRN 무기 개발 보조, AI R&D 자동화 등)을 넘으면 ASL-3 수준의 보안·배포 안전장치를 가동해야 출시할 수 있습니다. 실시간 프롬프트 분류기, 비동기 모니터링, 탈옥(jailbreak) 신고 포상제를 다층으로 결합한 구조입니다 [2].