컨텍스트 엔지니어링 이해하기 (기초)

무엇인가 — 프롬프트 다음 단계로 지목된 개념

2025년 6월, OpenAI 창립 멤버였던 안드레이 카파시가 "프롬프트 엔지니어링보다 컨텍스트 엔지니어링이 더 정확한 표현"이라고 썼습니다 ^[1]. 랭체인 공동창업자 해리슨 체이스는 같은 달 이 개념을 "LLM이 과업을 해낼 수 있도록 올바른 정보와 도구를 올바른 형식으로 공급하는 동적 시스템을 만드는 일"로 정의했습니다 ^[2].

프롬프트 엔지니어링이 지시문 한 편을 다듬는 기술이라면, 컨텍스트 엔지니어링은 모델이 답을 만들 때 참조하는 컨텍스트 윈도우 전체를 설계합니다. 시스템 프롬프트와 대화 이력, 업로드한 문서, 연결된 도구 목록까지가 설계 대상입니다.

왜 지금 중요한가

두 가지 흐름이 겹쳤습니다. 첫째, AI 에이전트의 확산입니다. 채팅은 사람이 턴마다 배경을 채워 주지만, 에이전트는 여러 턴을 스스로 돌며 컨텍스트를 계속 쌓습니다. 무엇을 남기고 무엇을 버릴지 미리 설계하지 않으면 작업이 길어질수록 품질이 무너집니다.

둘째, 긴 입력의 한계가 확인됐습니다. Anthropic은 2025년 9월 공식 가이드에서 컨텍스트를 유한한 자원으로 규정했습니다. 입력이 길어질수록 정보를 정확히 집어내는 능력이 떨어지는 컨텍스트 부패(context rot) 현상 때문입니다 ^[3]. 2025년 7월에는 관련 논문 1,400여 편을 정리한 서베이 논문이 나오면서, 이 개념은 유행어 단계를 지나 연구 분야로 자리 잡았습니다 ^[4].

채팅만 쓰는 사람에게도 남의 일이 아닙니다. 같은 질문인데 어제와 오늘 결과가 다른 이유의 상당수는 그날 대화창에 담긴 배경 정보가 달랐기 때문입니다. 업무 배경을 매번 다시 타이핑하고 있다면, 컨텍스트를 손으로 나르고 있는 셈이에요.

실무 적용 포인트 — 컨텍스트 패키지 1개 만들기

반복 업무 1개를 골라, 그 업무의 컨텍스트를 재사용 자산으로 만드는 절차입니다. 아래 순서 그대로 재현할 수 있습니다.

1. 매주 반복하는 업무 1개를 고릅니다. 예를 들어 주간 보고 초안 작성입니다.
2. 그 업무에 항상 따라붙는 배경을 문서 1개로 정리합니다. 팀이 쓰는 용어, 보고받는 사람, 형식 기준, 잘 나온 결과물 예시 1건이면 시작하기에 충분합니다.
3. Claude나 ChatGPT의 프로젝트 기능에 이 문서를 지침과 파일로 등록합니다.
4. 새 대화에서 배경 설명 없이 과업만 요청하고, 기존 방식과 결과를 비교합니다.

선별 기준은 Anthropic 가이드의 표현대로 "신호가 가장 높은 최소한의 정보"입니다 ^[3]. 관련 자료를 전부 넣는 것이 아니라 골라내는 것이 설계입니다. 따라 해볼 자료로는 Effective context engineering for AI agents를 권합니다. 대화 압축, 노트 작성, 서브에이전트 위임, 적시 검색이라는 기법 4가지가 정리돼 있습니다.

지켜볼 것

도구 쪽에서는 대화 압축과 메모리처럼 컨텍스트를 자동으로 관리하는 기능 경쟁이 이어지고 있습니다. 교육과 채용 쪽에서는 요구 역량이 '프롬프트를 잘 쓰는 사람'에서 '일의 맥락을 시스템에 심을 줄 아는 사람'으로 옮겨 가는지가 관전 포인트입니다. 프롬프트는 대화 한 번을 바꾸지만, 컨텍스트 설계는 그 업무의 모든 대화를 바꿉니다.