AI for Everyone
프롬프트·AI 활용

Self-Consistency

셀프 컨시스턴시

Self-Consistency는 같은 질문에 대해 여러 개의 추론 경로를 뽑아 최종 답의 다수결을 취하는 디코딩·프롬프팅 기법입니다. 사고사슬 프롬프트는 그대로 두고, 탐욕적 디코딩 대신 온도를 높인 표본추출로 서로 다른 풀이를 여러 개 만든 뒤 가장 많이 나온 답을 고릅니다 [1]. 복잡한 문제라도 정답은 하나로 모인다는 가정에 기대므로, 답이 고정된 집합에서 나오는 수학과 논리 과제에 맞습니다. 추가 학습이나 사람 주석은 필요 없지만, 비용은 표본 수에 거의 비례해 늘어납니다 [1].

쉽게 말하면?

어려운 문제를 한 사람에게만 물어보면 그 사람이 실수한 순간 답도 같이 틀립니다. 열 사람에게 각자 풀게 한 뒤 가장 많이 나온 답을 고르면, 몇 명이 헛다리를 짚어도 정답이 남습니다. Self-Consistency는 모델 한 대에게 같은 문제를 여러 번 다르게 풀게 해서 이 다수결을 흉내 내는 방법이에요. 풀이 과정은 제각각이어도 정답은 한 곳으로 모인다는 성질을 이용합니다.

한 줄로 비유하면?

한 명의 답을 그대로 믿는 대신, 여러 명에게 따로 풀게 하고 가장 많이 겹친 답을 고르는 채점 방식입니다.

어디에 쓰이나?

케이스 1Google Research — 원 논문에서 탐욕적 디코딩을 다수결로 바꾼 실험

2022년 3월 공개된 원 논문은 사고사슬 프롬프트의 디코딩 방식만 바꿨습니다 [1]. 같은 프롬프트로 추론 경로 40개를 표본추출한 뒤 최종 답의 최빈값을 골랐습니다 [1]. 모델별 표본 설정은 온도 0.5에서 0.7, top-k 40이었습니다 [1]. 추가 학습이나 사람 주석 없이 사전학습 모델에 바로 적용한 점이 특징입니다 [1].
도입효과: 동일 모델의 탐욕적 사고사슬 디코딩 기준 향상폭 GSM8K +17.9%, SVAMP +11.0%, AQuA +12.2%, StrategyQA +6.4%, ARC-challenge +3.9% [1]

케이스 2Google Research Minerva — 수학 문제 풀이에 다수결을 붙인 사례

2022년 6월 공개된 수식과 정량추론 특화 모델 Minerva도 같은 다수결 방식을 평가에 넣었습니다 [2]. 한 문제당 여러 풀이를 표본추출한 뒤 최빈 답을 고르는 지표를 함께 보고했습니다 [2]. 표본을 무한정 늘려도 이득이 계속 커지지는 않았습니다 [2]. 논문은 큰 표본에서 얻는 정확도의 97%가 MATH는 64개, GSM8k는 16개에서 이미 달성된다고 적었습니다 [2].
도입효과: 동일 모델 단일 표본 기준 MATH 33.6%에서 50.3%(표본 64개), GSM8k 58.8%에서 78.5%(표본 100개) [2]

케이스 3DeepSeek — 추론 모델 평가에 다수결로 남은 흐름

2025년 1월 공개된 DeepSeek-R1 기술보고서는 강화학습만으로 학습한 모델을 경시 수학 문제로 평가했습니다 [3]. 평가 지표에 답 64개를 생성해 최빈값을 취하는 다수결을 함께 넣었습니다 [3]. 프롬프팅 기법으로 쓰던 다수결이 추론 모델의 테스트타임 컴퓨트 지표로 옮겨간 흐름을 보여줍니다 [3].
도입효과: 동일 모델 단일 표본 기준 AIME 2024 정확도 71.0%에서 다수결 86.7% [3]

케이스 4LG AI연구원 EXAONE Deep — 국내 공개 모델의 다수결 보고

2025년 3월 공개된 국내 추론 모델 기술보고서입니다 [4]. 보고서는 단일 표본 정확도와 함께, 여러 답을 생성해 가장 자주 나온 답을 최종 답으로 삼는 지표를 병기했습니다 [4]. 국내 모델 평가에서도 다수결이 표준 보고 항목으로 자리 잡았음을 확인할 수 있는 자료예요 [4]. 같은 보고서는 한국어 과제인 수능 수학에서 단일 표본 94.5%를 함께 보고했습니다 [4].
도입효과: 동일 모델 단일 표본 기준 AIME 2024 정확도 72.1%에서 90.0%(표본 64개), AIME 2025는 65.8%에서 80.0% [4]

주의할 점은?

오늘 바로 해보기
01. 정답이 하나로 수렴하는 과제인지 먼저 확인합니다. 원 논문도 최종 답이 고정된 집합에서 나오는 문제에만 적용된다고 못박았습니다 [1].
02. 사고사슬 프롬프트는 손대지 말고 디코딩만 바꿉니다. 온도 0.5에서 0.7, top-k 40 부근이 원 논문의 설정값입니다 [1].
03. 경로 5개에서 10개로 먼저 재봅니다. 원 논문은 이 구간에서 이득 대부분이 나오고 성능이 빠르게 포화한다고 적었습니다 [1].
04. 답을 정규화한 뒤 집계합니다. 단위와 소수점, 표기 차이를 맞추지 않으면 같은 답이 다른 표로 흩어집니다.
05. 표본 수별 정확도와 토큰 비용을 같이 기록합니다. 포화 지점을 찾으면 그 값으로 고정하는 편이 안전합니다 [1][2].

한계와 진화

  1. 비용입니다. 원 논문이 스스로 밝힌 한계도 계산 비용 증가였고, 답 하나를 얻는 데 경로 수만큼 토큰을 더 씁니다 [1].
  2. 자유형 생성에는 그대로 쓰기 어렵습니다. 두 답이 같은지 판정할 기준이 있어야 확장할 수 있다는 것이 원 논문의 단서 조항입니다 [1].
  3. 다수결이 틀린 쪽으로 모일 수 있습니다. 원 논문은 모델이 부정확하거나 앞뒤가 맞지 않는 추론 경로를 만들 때가 있고 근거를 다지는 후속 연구가 필요하다고 적었습니다 [1]. 다수결은 모델이 대체로 옳은 방향을 볼 때만 오답을 씻어냅니다. 이후 흐름은 두 갈래입니다. 하나는 테스트타임 컴퓨트입니다. 2025년 추론 모델 보고서들은 단일 표본 정확도 옆에 표본 64개 다수결을 나란히 적어, 답을 여러 개 뽑아 다수결하는 방식을 표준 보고 항목으로 남겼습니다 [3][4]. 다른 하나는 집계 방식의 변형입니다. 원 논문은 정규화 로그확률로 가중한 합계도 함께 실험했고, 가중하지 않은 단순 다수결과 정확도가 거의 같았다고 보고했습니다 [1]. 별도 검증기나 재순위 모델을 학습시키는 계열도 있는데, 원 논문은 자신을 그와 대비해 학습과 주석이 필요 없는 비지도 방식으로 규정했습니다 [1]. 다수결 자체는 표준 도구로 남았고, 경쟁 축은 표본을 몇 개 쓰고 어떻게 고를지로 옮겨간 상태입니다.

참고 자료

  1. Self-Consistency Improves Chain of Thought Reasoning in Language Models — 학술논문·arXiv(ICLR 2023)·2022 — https://arxiv.org/abs/2203.11171
  2. Solving Quantitative Reasoning Problems with Language Models — 학술논문·arXiv(NeurIPS 2022)·2022 — https://arxiv.org/abs/2206.14858
  3. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — 기술보고서·arXiv·2025 — https://arxiv.org/abs/2501.12948
  4. EXAONE Deep: Reasoning Enhanced Language Models — 기술보고서·arXiv(LG AI Research)·2025 — https://arxiv.org/abs/2503.12524
  5. Self-Consistency Improves Chain of Thought Reasoning in Language Models — 학회 논문 페이지·OpenReview(ICLR 2023)·2023 — https://openreview.net/forum?id=1PL1NIMMrw
  6. Solving Quantitative Reasoning Problems with Language Models — 학회 논문집·NeurIPS Proceedings·2022 — https://proceedings.neurips.cc/paper_files/paper/2022/file/18abbeef8cfe9203fdf9053c9c4fe191-Paper-Conference.pdf

대표 출처

arXiv 논문 (2022) · Wang 외, Self-Consistency Improves Chain of Thought Reasoning in Language Models
카드뉴스로 공유하기 다른 AI 용어 보기