Reranking 4장 카드뉴스

검색이 1차로 넉넉히 뽑아 온 후보 문서를, 질문과의 관련도를 더 정교하게 다시 계산해 순서를 매기는 2차 정렬 단계입니다. 보통 질문과 문서를 한 쌍으로 함께 읽는 교차 인코더(cross-encoder)를 써서, 빠르지만 거친 1차 검색의 순위를 바로잡습니다. 계산이 무거워 전체가 아니라 상위 후보 수십 개에만 적용합니다. RAG에서 상위 몇 개만 LLM에 넘길 때 정답 문서를 위로 끌어올리는 역할을 합니다.

리랭킹은 검색 결과를 '한 번 더 꼼꼼히 줄 세우는' 단계입니다. 1차 검색은 빠르게 후보 수십 개를 널널하게 가져오는데, 그중 진짜 관련 있는 문서가 아래쪽에 묻히기도 해요. 리랭커는 질문과 각 문서를 짝지어 다시 채점하고 순서를 바로잡습니다. 1차로 접수된 지원서를 실무자가 빠르게 추린 뒤, 팀장이 요건과 하나씩 대조해 최종 면접 순서를 다시 정하는 것과 비슷해요. RAG에서 상위 몇 건만 LLM에 넘길 때 정답을 위로 올려 주는 핵심 장치입니다.

케이스 1: 노게이라·조경현(2019) — BERT 리랭커로 검색 순위 재정렬 뉴욕대 연구진은 2019년 BERT로 질문-문단 쌍을 다시 채점하는 리랭킹 기법을 발표했습니다 [1]. 검색 벤치마크 MS MARCO 리더보드 1위에 올랐습니다 [1]. 교차 인코더 방식 신경망 리랭킹의 출발점으로 꼽힙니다 [1]. 이후 대부분의 RAG 파이프라인이 1차 검색으로 후보를 넓게 모은 뒤 교차 인코더로