AI for Everyone
프롬프트·AI 활용

LLM-as-a-Judge

엘엘엠 애즈 어 저지

LLM 평가 분야에서 쓰이는 기법으로, 강한 LLM(대규모 언어 모델)에게 다른 모델의 답변을 채점·비교·선택하게 해 사람 평가를 대신하게 하는 방법입니다. 이름 그대로 LLM을 심판(Judge)으로 세우는 방식입니다. 2023년 LMSYS 연구진이 MT-Bench 논문으로 용어를 대중화했고, GPT-4 판정이 인간 선호와 80% 넘게 일치한다는 결과가 출발점이 됐습니다. 정답이 하나로 정해지지 않는 개방형 답변을 대규모로 평가할 때 표준처럼 쓰입니다.

쉽게 말하면?

엘엘엠 애즈 어 저지(LLM-as-a-Judge)는 AI의 답안지를 사람이 아니라 더 뛰어난 AI가 채점하게 하는 방식입니다. 글쓰기 답변처럼 정답이 하나가 아닌 과제는 사람이 일일이 읽고 평가해야 했는데, 시간과 비용이 너무 컸어요. 채점 기준을 프롬프트로 정해 주면 판정 LLM이 수천 건을 몇 분 만에 평가합니다. 다만 채점자 AI에게도 편향이 있어서, 사람 평가와 얼마나 일치하는지 먼저 확인하고 쓰는 것이 원칙입니다.

한 줄로 비유하면?

학생(AI)의 논술 답안을 채점 기준표와 함께 수석 졸업생(더 강한 AI)에게 맡기고, 교사는 채점 결과를 표본 검사하는 방식입니다.

어디에 쓰이나?

케이스 1LMSYS — 판정자 GPT-4 자체를 검증한 원조 연구

LMSYS 연구진은 2023년 80개 멀티턴 질문의 MT-Bench를 만들어 GPT-4를 판정자로 세웠습니다 [1]. 판정 결과를 전문가 평가·Chatbot Arena의 인간 선호와 대조했습니다 [1]. 위치·장황함·자기강화 편향 같은 판정자의 약점도 함께 공개했습니다 [1].
도입효과: GPT-4 판정과 인간 선호 일치율 80% 초과 — 인간 평가자 두 명 사이의 일치율과 동급(2023년 논문 기준) [1][2]

케이스 2Databricks — 평가 파이프라인 상용 탑재

Databricks는 2023년 MLflow 2.8에 LLM 판정 기반 평가 지표를 정식 탑재했습니다 [3]. 자사 문서 Q&A용 RAG 평가에 적용하며 채점 스케일 정의, 등급별 예시 제공 같은 모범사례를 정리했습니다 [3]. 데이터 정제 효과를 LLM 판정으로 측정해 개선 근거로 썼습니다 [3].
도입효과: 태스크당 평가 시간 2주(인력)→30분, 비용 $20→$0.20 — 인간 점수와의 일치도 80% 이상 유지 조건(2023년 공식 블로그 기준) [3]

케이스 3Wang 외 연구진(ACL 2024) — 순서만 바꿔도 뒤집히는 판정

Wang 외 연구진은 답변 제시 순서만 바꿔도 판정 LLM의 순위가 뒤집히는 위치 편향을 정량화했습니다 [4]. ChatGPT를 평가자로 쓸 때 순서 조작만으로 특정 모델이 이기게 만들 수 있음을 보였습니다 [4]. 보정 기법으로 순서 교차 평가와 사람 개입 보정을 제안했습니다 [4].
도입효과: 순서 조작으로 뒤집힌 판정 80개 질의 중 66개(82.5%, 동일 답변 쌍의 정상 제시 순서 대비) [4]

케이스 4하이퍼커넥트(한국) — 인간 전문가 수준까지 끌어올린 실전 정렬

하이퍼커넥트는 틴더의 매칭 설명문 품질을 합격·불합격으로 판정하는 LLM Judge를 만들었습니다 [5]. 평가 정책을 체크리스트로 쪼개고 전문가의 판단 과정을 단계별로 프롬프트에 담았습니다 [5]. 평가 자동화를 넘어 시스템 디버깅과 학습 데이터 정제에도 활용했습니다 [5].
도입효과: 인간 전문가 평가와의 일치율 약 60%→약 84%(프롬프트·예시 개선 반복 후, 인간 전문가 간 일치율 80% 후반~90% 초반 조건, 2026년 4월 공개 기준) [5]

주의할 점은?

오늘 바로 해보기
01. 자주 쓰는 AI 업무 하나를 골라 '좋은 답'의 기준을 3~5개 문장으로 적습니다. 이것이 채점 기준표입니다.
02. 무료 챗봇에 채점 기준표와 답변 두 개를 주고 1~5점 채점을 시켜 봅니다. 답변 순서를 바꿔 다시 시켜 위치 편향을 직접 확인합니다 [4].
03. OpenAI 쿡북의 환각 검출 judge 예제를 열어 채점 프롬프트 구조를 살펴봅니다 [7].
04. 한국어 자료로는 네이버클라우드의 HCX-007 평가 가이드를 참고합니다. 5개 항목 채점 프롬프트와 전체 코드가 공개돼 있습니다 [8].
05. 판정 결과 10건을 직접 채점해 보고 내 판단과의 일치율을 계산합니다. 일치율이 낮으면 기준표부터 고칩니다 [5].

한계와 진화
한계는 채점자도 AI라는 점 자체에 있습니다. 원조 논문이 확인한 편향만 세 가지입니다. 먼저 제시된 답을 선호하는 위치 편향, 긴 답을 후하게 주는 장황함 편향, 같은 모델이 쓴 답을 밀어주는 자기강화 편향입니다 [1]. 판정자가 못 푸는 수학·추론 문제는 채점도 부정확합니다 [1]. 순서 조작만으로 판정 다수가 뒤집힌다는 후속 연구도 나왔습니다 [4]. 그래서 기본 프롬프트만으로는 인간 전문가와 60% 수준의 일치에 그치며, 인간 평가 데이터로 판정자를 정렬하는 과정이 사실상 전제 조건입니다 [5].
진화는 세 갈래입니다.

  1. 학습 단계로 들어갔습니다. 모델이 스스로의 판정을 학습 보상으로 쓰는 자기 보상(Self-Rewarding) 계열처럼 평가와 훈련의 경계가 흐려지는 연구 흐름이 이어집니다 [6].
  2. 평가 대상이 에이전트로 넓어졌습니다. 다단계 작업을 수행하는 에이전트를 에이전트가 평가하는 Agent-as-a-Judge 연구가 후속 흐름입니다 [6].
  3. 실무 정착입니다. 2025년 EMNLP 서베이로 방법론이 정리됐고 [6], 국내에서도 하이퍼커넥트 [5]와 네이버클라우드 가이드 [8]처럼 프로덕션 적용 사례 공개가 이어지고 있습니다.

참고 자료

  1. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — arXiv 논문(NeurIPS 2023)·Zheng 외(LMSYS)·2023 — https://arxiv.org/abs/2306.05685
  2. Chatbot Arena Leaderboard Week 8: Introducing MT-Bench — 공식 블로그·LMSYS Org·2023 — https://www.lmsys.org/blog/2023-06-22-leaderboard/
  3. Announcing MLflow 2.8 LLM-as-a-judge metrics — 공식 기술블로그·Databricks·2023 — https://www.databricks.com/blog/announcing-mlflow-28-llm-judge-metrics-and-best-practices-llm-evaluation-rag-applications-part
  4. Large Language Models are not Fair Evaluators — ACL 2024 논문·Wang 외·2024 — https://aclanthology.org/2024.acl-long.511/
  5. 2부: 정책을 따르는 평가자, LLM-as-a-Judge — 공식 기술블로그·하이퍼커넥트·2026 — https://hyperconnect.github.io/2026/04/22/llm-as-a-judge-for-explanation-quality.html
  6. From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge — arXiv 서베이(EMNLP 2025)·Li 외·2024~2025 — https://arxiv.org/abs/2411.16594
  7. Custom LLM as a Judge to Detect Hallucinations — 공식 쿡북·OpenAI·2024 — https://developers.openai.com/cookbook/examples/custom-llm-as-a-judge
  8. LLM-as-a-Judge: 하이퍼클로바X 추론 모델(HCX-007)로 성능 평가하기 — 공식 포럼 가이드·네이버클라우드·2025 — https://www.ncloud-forums.com/topic/570

대표 출처

arXiv 논문 (2023) · LMSYS(Zheng 외), Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
카드뉴스로 공유하기 다른 AI 용어 보기