AI 평가

케이스 1OpenAI — Evals 오픈소스 프레임워크

OpenAI는 2023년 LLM 평가 프레임워크 Evals를 오픈소스로 공개했습니다 ^[1]. 공개 벤치마크 레지스트리와 함께, 팀이 자기 업무 패턴에 맞춘 비공개 평가를 직접 작성하도록 지원합니다 ^[1]. 공식 문서는 "LLM으로 무언가를 만든다면 좋은 평가를 만드는 일이 가장 영향력 큰 작업 중 하나"라고 적었습니다 ^[1]. 이후 호스팅형 Evals로 제품화됐습니다 ^[1].
도입효과: 커스텀·비공개 eval 작성 지원 (사내 데이터 노출 없이 자체 지표 구성 가능) ^[1]

케이스 2스탠퍼드 CRFM — HELM 다지표 평가

스탠퍼드 CRFM는 파운데이션 모델을 여러 지표로 투명하게 평가하는 HELM을 운영합니다 ^[2]. 정확도뿐 아니라 효율·편향·유해성을 함께 측정하도록 설계했습니다 ^[2]. 단일 점수 하나로 모델을 줄 세우는 방식의 한계를 보완하려는 접근입니다 ^[2]. 공개 리더보드로 결과를 투명하게 공개합니다 ^[2].
도입효과: 정확도 외 다지표 동시 측정 (단일 지표 리더보드 대비 평가 축 확대) ^[2]

케이스 3EleutherAI — lm-evaluation-harness 표준 하네스

EleutherAI의 lm-evaluation-harness는 여러 모델을 같은 방식으로 평가하는 오픈소스 하네스입니다 ^[3]. 60개 이상의 표준 학술 벤치마크와 수백 개의 하위 과제를 구현했습니다 ^[3]. Hugging Face Open LLM Leaderboard의 백엔드로 쓰이고, NVIDIA·Cohere 등 여러 조직이 내부적으로 쓴다고 공식 문서에 적혀 있습니다 ^[3]. 수백 편의 논문이 이 하네스를 인용했습니다 ^[3].
도입효과: 표준 벤치마크 60개 이상 구현 (Open LLM Leaderboard 백엔드 채택, 수백 편 논문 사용) ^[3]

케이스 4업스테이지·NIA — KMMLU와 Open Ko-LLM 리더보드 [한국]

KMMLU는 2024년 2월 공개된 한국어 평가 벤치마크입니다 ^[4]. 영어 벤치마크 번역이 아니라 한국 원본 시험에서 모은 전문가 수준 4지선다 35,030문항을 45개 과목에 걸쳐 담았습니다 ^[4]. 논문은 GPT-4와 HyperCLOVA X도 정답률 60%를 넘지 못한다고 보고해, 한국어 이해에 개선 여지가 큼을 수치로 보였습니다 ^[4]. 업스테이지와 NIA는 한국어 공개 평가의 장으로 Open Ko-LLM 리더보드도 함께 운영했습니다 ^[5].
도입효과: KMMLU 35,030문항·45과목 구축, 최상위 상용 모델 정답률 60% 미만 (GPT-4·HyperCLOVA X 기준) ^[4]

오늘 바로 해보기
01. 자사 AI가 자주 받는 질문 다섯 개를 골라, 정답과 채점 기준을 표로 만듭니다.
02. 같은 질문을 모델 두 개에 나란히 넣고, 어느 답이 기준에 맞는지 직접 채점해 봅니다.
03. EleutherAI lm-evaluation-harness 문서에서 자사 과제와 가까운 벤치마크 하나를 찾아 표시합니다 ^[3].
04. KMMLU 예시 문항을 열어, 영어 벤치마크 번역본과 무엇이 다른지 한 줄로 정리합니다 ^[4].
05. 프롬프트를 한 줄 바꾼 뒤 같은 시험지로 다시 채점해, 점수 변화를 기록으로 남깁니다 ^[1].

이밸에도 함정이 있습니다. 2024년 벤치마크 데이터 오염 서베이는 모델이 학습 중 평가셋을 이미 봤을 때 점수가 부풀려져 신뢰할 수 없게 된다고 정리했습니다 ^[6]. 공개 벤치마크가 인터넷에 오래 노출될수록 이 오염 위험은 커집니다 ^[6]. 그래서 자사 업무를 담은 비공개 평가를 함께 두라는 권고가 나옵니다 ^[1]. 타당성 문제도 있습니다. KMMLU 논문은 기존 한국어 벤치마크가 영어 벤치마크의 번역이라 언어와 문화 요소를 놓친다는 문제의식에서 출발했습니다 ^[4]. 실제로 논문은 GPT-4와 HyperCLOVA X도 정답률 60%를 넘지 못했다고 보고했습니다 ^[4]. 벤치마크가 널리 쓰일수록 그 결과에 맞춰 모델을 과최적화하려는 유인도 커집니다 ^[6]. 정확도 한 지표만으로는 부족하다는 인식도 커졌고, HELM이 효율·편향·유해성을 함께 재도록 설계된 배경입니다 ^[2]. 좋은 이밸을 만드는 일 자체가 품이 많이 드는 작업이라, OpenAI도 이를 가장 영향력 큰 작업 중 하나로 꼽습니다 ^[1].

진화 방향은 두 갈래입니다.

1. 고정된 정적 벤치마크에서 오염에 강한 동적·라이브 평가로 옮겨가고 있습니다 ^[6]. 오염 서베이는 전통 벤치마크를 대체할 평가 방식을 권고했습니다 ^[6]. EleutherAI 하네스는 공개된 프롬프트로 논문 간 재현성과 비교가능성을 맞추는 표준 역할을 합니다 ^[3]. 스탠퍼드 HELM은 스스로를 언어모델 투명성을 위한 살아 있는 벤치마크로 규정하며 계속 갱신됩니다 ^[2].
2. 오픈소스 프레임워크가 호스팅형 평가 플랫폼으로 제품화되고, 에이전트 워크플로 평가로 범위가 넓어지고 있습니다 ^[1]. 국내에서도 업스테이지와 NIA가 Open Ko-LLM 리더보드를 열어 한국어 공개 평가의 장을 만들었고, 개설 2주 만에 100개가 넘는 모델이 등록됐습니다 ^[5]. 현재 시점에서는 공개 리더보드와 자사 비공개 이밸을 함께 두는 구성이 표준에 가깝습니다.