Chunking 4장 카드뉴스

긴 문서를 검색·임베딩에 알맞은 크기의 조각으로 잘라 나누는 전처리 작업입니다. RAG에서 원문을 통째로 넣을 수 없으므로, 문단·문장·토큰 단위로 나눠 각 조각을 벡터로 저장합니다. 너무 크게 자르면 관련 없는 내용이 섞이고, 너무 잘게 자르면 앞뒤 문맥이 끊깁니다. 조각 크기와 겹침(overlap) 설정이 검색 정확도를 좌우해, RAG 품질의 첫 단추로 꼽힙니다.

청킹(chunking)은 긴 자료를 검색하기 좋은 크기로 토막 내는 작업입니다. AI에 문서를 한 번에 다 넣을 수 없으니, 문단이나 정해진 길이로 잘라 조각마다 따로 저장해요. 두꺼운 규정집을 통째로 주는 대신 조항별로 나눠 색인해 두는 것과 비슷합니다. 너무 크게 자르면 엉뚱한 내용이 섞이고, 너무 잘게 자르면 앞뒤 맥락이 끊겨서 답이 부정확해져요. 그래서 조각 크기와 겹치는 부분을 얼마로 둘지가 RAG 품질을 좌우하는 첫 단추입니다. 같은 문서라도 어떻게 나누냐에 따라 검색 결과가 달라집니다.

케이스 1: Anthropic — 문맥을 붙인 청킹으로 검색 실패율 감소 Anthropic은 2024년 각 조각 앞에 그 조각의 맥락을 요약해 붙이는 '컨텍스추얼 리트리벌'을 공개했습니다 [1]. 조각이 문맥을 잃어 검색이 빗나가는 문제를 겨냥했습니다 [1]. 문맥 임베딩과 문맥 BM25를 함께 쓰고 리랭킹까지 얹어 측정했습니다 [1]. 상위 20개 조각 안에 정답이 없을 확률을 기준으로 비