BM25 4장 카드뉴스

정보 검색 분야에서 쓰이는 Best Matching 25(베스트 매칭 25)의 약자로, 질의어와 문서의 단어 일치도를 점수로 매기는 키워드 기반 랭킹 함수입니다. 1970년대와 1980년대에 Robertson과 Spärck Jones 등이 세운 확률적 검색 모델을 잇는 TF-IDF 계열 기법입니다 [1]. 문서 길이 정규화를 맡는 b와 용어 빈도 포화를 맡는 k1, 두 파라미터가 점수를 조절합니다 [3]. Apache Lucene과 Elasticsearch, OpenSearch가 기본 스코어링으로 채택했습니다 [2]. RAG의 하이브리드 검색에서는 의미 기반 벡터 검색과 짝을 이룹니다 [4].

BM25는 Best Matching 25의 줄임말입니다. 질의어에 가장 잘 맞는 문서를 골라내는 계산식이라는 뜻입니다. 도서관 사서가 찾는 단어가 몇 번 나왔는지 세되, 같은 단어가 열 번 나왔다고 열 배 좋은 책으로 치지는 않는 장면을 떠올리면 됩니다. 두꺼운 책은 단어가 많이 들어갈 수밖에 없으니 분량을 감안해 점수를 깎아요.

케이스 1: Elastic — Elasticsearch의 기본 유사도 알고리즘을 BM25로 교체 Elastic은 기술 블로그에서 Elasticsearch 5.0부터 기본 유사도 알고리즘을 Okapi BM25로 전환했다고 밝혔습니다 [2]. 기반 라이브러리인 Apache Lucene도 6.0.0 API 문서에서 BM25Similarity의 기본 값을 k1 1.2, b 0.75로 명시합니다 [3