BM25 4장 카드뉴스

정보 검색 분야에서 쓰이는 Best Matching 25(베스트 매칭 25)의 약자로, 질의어와 문서의 단어 일치도를 점수로 매기는 키워드 기반 랭킹 함수입니다. 1970년대와 1980년대에 Robertson과 Spärck Jones 등이 세운 확률적 검색 모델을 잇는 TF-IDF 계열 기법입니다 [1]. 문서 길이 정규화를 맡는 b와 용어 빈도 포화를 맡는 k1, 두 파라미터가 점수를 조절합니다 [3]. Apache Lucene과 Elasticsearch, OpenSearch가 기본 스코어링으로 채택했습니다 [2]. RAG의 하이브리드 검색에서는 의미 기반 벡터 검색과 짝을 이룹니다 [4].

BM25는 Best Matching 25의 줄임말입니다. 질의어에 가장 잘 맞는 문서를 골라내는 계산식이라는 뜻입니다. 도서관 사서가 찾는 단어가 몇 번 나왔는지 세되, 같은 단어가 열 번 나왔다고 열 배 좋은 책으로 치지는 않는 장면을 떠올리면 됩니다. 두꺼운 책은 단어가 많이 들어갈 수밖에 없으니 분량을 감안해 점수를 깎아요.

0부터 기본 유사도 알고리즘을 Okapi BM25로 전환했다고 밝혔습니다 [2]. 75로 명시합니다 [3]. 별도 설정 없이도 문서 길이 편차가 큰 색인에서 긴 문서가 무조건 상위로 올라가는 쏠림이 완화됩니다 [2]. 검색 팀은 파라미터를 건드리지 않아도 BM25 점수를 받게 됩니다 [2].