Self-Consistency 4장 카드뉴스

Self-Consistency는 같은 질문에 대해 여러 개의 추론 경로를 뽑아 최종 답의 다수결을 취하는 디코딩·프롬프팅 기법입니다. 사고사슬 프롬프트는 그대로 두고, 탐욕적 디코딩 대신 온도를 높인 표본추출로 서로 다른 풀이를 여러 개 만든 뒤 가장 많이 나온 답을 고릅니다 [1]. 복잡한 문제라도 정답은 하나로 모인다는 가정에 기대므로, 답이 고정된 집합에서 나오는 수학과 논리 과제에 맞습니다. 추가 학습이나 사람 주석은 필요 없지만, 비용은 표본 수에 거의 비례해 늘어납니다 [1].

어려운 문제를 한 사람에게만 물어보면 그 사람이 실수한 순간 답도 같이 틀립니다. 열 사람에게 각자 풀게 한 뒤 가장 많이 나온 답을 고르면, 몇 명이 헛다리를 짚어도 정답이 남습니다. Self-Consistency는 모델 한 대에게 같은 문제를 여러 번 다르게 풀게 해서 이 다수결을 흉내 내는 방법이에요. 풀이 과정은 제각각이어도 정답은 한 곳으로 모인다는 성질을 이용합니다.

케이스 1: Google Research — 원 논문에서 탐욕적 디코딩을 다수결로 바꾼 실험 2022년 3월 공개된 원 논문은 사고사슬 프롬프트의 디코딩 방식만 바꿨습니다 [1]. 같은 프롬프트로 추론 경로 40개를 표본추출한 뒤 최종 답의 최빈값을 골랐습니다 [1]. 7, top-k 40이었습니다 [1]. 추가 학습이나 사람 주석 없이 사전학습 모델에 바로 적용한 점이 특징입니다 [1].