컨텍스트 엔지니어링 4장 카드뉴스

AI 엔지니어링 분야에서 쓰이는 용어로, LLM(대형 언어 모델)이 한 번에 읽는 컨텍스트 윈도우 안에 어떤 정보를 어떤 순서와 형태로 넣을지 설계하고 관리하는 기법입니다. 지시문뿐 아니라 도구 목록, 검색된 문서, 과거 대화 기록, 작업 메모까지 모델이 참고하는 모든 입력을 하나의 예산으로 보고 최적 구성을 찾습니다. 질문 문장을 다듬는 프롬프트 엔지니어링을 포괄하는 상위 개념으로, 2025년 이후 AI 에이전트 설계의 핵심 역량으로 자리 잡았습니다.

컨텍스트 엔지니어링은 AI에게 일을 시킬 때 '무엇을 읽고 시작할지' 책상 위를 세팅해 주는 작업이에요. 오픈북 시험에서 어떤 책을 어느 페이지로 펼쳐 둘지가 점수를 좌우하는 것과 같습니다. 질문 한 줄을 다듬는 프롬프트 엔지니어링에서 한발 더 나아가 참고 문서, 도구, 이전 기록까지 통째로 설계합니다. AI가 길게 일할수록 책상이 어질러지기 때문에 중간 정리(요약과 메모)도 여기에 포함돼요.

[1] 각 에이전트의 컨텍스트가 20만 토큰을 넘으면 잘리기 때문에, 계획을 외부 메모리에 저장하고 단계마다 요약해 넘기는 컨텍스트 관리가 시스템의 핵심이었습니다. [3] 시스템 프롬프트를 바꾸지 않고 도구 목록을 안정적으로 유지하면 이전 계산 결과(KV 캐시)를 재사용할 수 있어 비용과 응답 속도가 크게 개선되기 때문입니다.