System Prompt

1. ChatGPT나 Claude 워크스페이스의 "Custom Instructions / Project Instructions"에 직무·말투·금지어를 한 문단으로 적어 봅니다.
2. 같은 User Prompt를 시스템 프롬프트 유무 두 가지로 돌려 응답 차이를 캡처해 둡니다.
3. 사내 챗봇이라면 시스템 프롬프트에 "회사명, 응대 톤, 답변 불가 항목, 에스컬레이션 안내 URL"을 먼저 박아 둡니다.
4. Anthropic 릴리스 노트의 Claude 시스템 프롬프트 한 편을 읽으며 안전 문구·톤 지침의 구조를 그대로 차용해 봅니다.
5. 동일 시스템 프롬프트로 10개 질문을 돌려 응답 형식 일관성을 체크리스트로 평가합니다.

시스템 프롬프트는 만능 통제 장치가 아닙니다. arXiv 2502.12197 "A Closer Look at System Prompt Robustness"는 시스템 메시지에 가드레일 수가 늘어날수록 최신 LLM의 준수율이 빠르게 0에 가까워진다는 결과를 보고했습니다.^[10] 가드레일 1~2개 수준에서는 거의 100%에 가깝게 지시를 따르던 모델이 10개를 넘어가면 준수율이 한 자릿수까지 떨어진다는 측정도 함께 실렸습니다.^[10] Pliny the Elder 같은 연구자들이 Claude 4를 포함한 주요 모델의 시스템 프롬프트 전문을 잇따라 유출해 GitHub에 공개한 사례도 있어, 시스템 프롬프트를 영업비밀처럼 다루는 전략은 한계가 분명합니다.^[6] 사용자 친화 인터페이스인 Claude Projects나 Custom GPTs에서도 결국 시스템 프롬프트 본문이 모델 출력으로 흘러나오는 추출 공격이 보고됩니다.^[10] 결국 "무엇을 시스템 프롬프트에 적는가"보다 "적힌 지시가 무엇까지 막을 수 있는가"를 미리 가늠하고 운영해야 한다는 뜻입니다.^[1]

진화 방향은 두 갈래로 정리됩니다.

1. OpenAI Model Spec과 "Instruction Hierarchy" 논문처럼 시스템·개발자·사용자 메시지에 권한 등급을 부여하고 학습 단계에서 그 위계를 모델에 새겨 넣는 흐름입니다.^[1][11] Anthropic이 Constitutional AI에서 모델 자체에 헌법 조항을 학습시킨 것과 같은 방향이며,^[4] 시스템 프롬프트의 "강제력"을 텍스트가 아닌 가중치로 옮기려는 시도로 볼 수 있습니다.
2. arXiv 2506.15751 Sysformer처럼 사용자 입력에 맞춰 시스템 프롬프트 자체를 실시간으로 다듬는 적응형 방식이 제시되고 있으며, 거부율 기준으로 최대 80% 개선이 보고됐습니다.^[12] 현재 시점에서는 Claude Projects·Custom GPTs 같은 인터페이스가 시스템 프롬프트의 진입 장벽을 낮추는 동안, 보안·법무 분야에서는 권한 계층 학습과 적응형 시스템 프롬프트가 표준으로 자리 잡아 가는 흐름이라고 볼 수 있습니다.^[1][11][12]